- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hadoop初识之十三：shuffle过程及mapreduce 调优
--==============shuffle处理过程==============================>inputFormat=>map=>shuffle处理过程 * process * map，output * memory* spill,溢写到磁盘中，可能有很多文件 * 分区partition* 排序s
2017-09-18 22:02:15
403
原创 hadoop初识之十二：wordcount 处理过程和mapreduce的数据类型
--==============wordcount 处理过程=============================1.将文件拆分成splits,每个文件为一个split,然后将文件拆分成 key是行偏移量，value包括了回车所占的字符数。2.将 交给map进行处理，分割并形成新的3.map方法对其value按key进行排序后并输出4.reduce 对map的结果进行分组
2017-09-11 22:28:06
246
原创 hadoop初识之十一：mapreduce编写格式与示例, 并在yarn上运行
--==============mapreduce编写格式==============================》概述：map和reduce遵循的格式 map:(K1,V1)->list(K2,V2)reduce:(K2,list(V2))->list(K3,V3)Context是上下文=》Mapper基类 protect void map(KEY key,
2017-09-10 18:43:18
259
原创 hadoop小知识3-fatjar工具的使用
1.fatjar工具作用：可以把整个工程包括所依赖的包打成一个大的jar包（包含所有的jar包）2.下载地址：https://sourceforge.net/projects/fjep/files/latest/download,需要和eclipse版本对应3.解压后，把该插件（net.sf.fjep.fatjar_0.0.32.jar）放到eclipse的plungins下面，或者Mye
2017-09-10 18:16:05
329
原创 hadoop小知识2-虚拟机和主机间实现复制和粘贴
1.登录虚拟机系统；单击“虚拟机”；单击“安装VMware Tools"； 2.右键光盘形状的【VMware Tools】，【Browser Foldes】看到如下图所示的tar包。把tar包复制到该虚拟机桌面上3.打开终端4.该tar包路径为 /root/Desktop/VMwareTools-9.6.0-1
2017-09-10 12:21:27
2064
转载 hadoop小知识1-虚拟机与主机时间同步
要让虚拟机的linux和实际时间一致，最简单的步骤是：(1)将虚拟机linux和主机时间同步,可以先在虚拟机的设置里面-选项-VMware Tools开启客户机与主机时间同步(其实默认就开的)(2)开启了时间同步但是还是和实际时间不一样，那么可能是时区设置不对，这时最简单的方法是进入系统的图形界面，点击右上角的时间，进入时间、时区设置(和window设置时间差不多)，edit lo
2017-09-10 10:22:53
632
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人