![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MapReduce
热情散尽
这个作者很懒,什么都没留下…
展开
-
MapReduce的Shuffle过程
*** mapreduce的工作流程 Shuffle机制: Shuffle机制: Map 方法之后Reduce方法之前这段处理过程叫Shuffle Map方法之后,数据首先进入分区方法,把数据标记好分区,然后把数据发送到环形缓冲区;唤醒缓冲区的默认大小为100M,环形缓冲区达到80%时,进行溢写;溢写前对数据进行排序,排序按照对key的索引进行字典顺序排序,排序的手段快排;溢写产生...原创 2020-03-19 18:23:17 · 171 阅读 · 0 评论 -
hadoop集群测试jar包以及历史命令
使用idea打jar包 1.在pom文件的下边将 打包插件 2.然后impor 下载打jar包依赖 3.在以来中指定主类,包名,类名mrTest.dirver 4.点开idea右边的maven project , 然后打开Lifecycle. 如果已经存在 tartget 文件夹,点击clean清除 点击complite 编译 点击package 打包 打包完后会生成两个jar包 一个jar包...原创 2019-07-18 19:17:19 · 763 阅读 · 0 评论