![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
yujianxiaoyaobb
这个作者很懒,什么都没留下…
展开
-
Hadoop源码解读(shuffle机制)
Hadoop源码解读(shuffle机制) 这次主要聊一聊hadoop中比较复杂的shuffle机制。同样是通过源代码来一步一步进行解析。首先,shuffle是mapTask运行写出一个key,value键值对后,收集器收集,开始shuffle的工作。所以入口在MapTask的run()方法中的 runNewMapper(job, splitMetaInfo, umbilical, repor...原创 2019-11-21 21:28:52 · 326 阅读 · 0 评论 -
Hadoop源码解读(切片原理)
Hadoop源码解读(切片原理) 在上一篇博客中。主要聊了聊一个hadoop的job在提交后,运行前所做的一些准备工作。主要是: 获取Job运行的环境是LocalJobRunner还是YarnRunner。 校验输出路径 获取Job的工作目录 获取当前将要运行的Job的Id 拼接上面两个,生成当前Job的工作目录,并创建 生成切片信息,返回切片的数量,并将切片信息放入Job工作目录中 将当前Jo...原创 2019-11-21 18:48:10 · 622 阅读 · 0 评论 -
Hadoop源码解读(Job提交)
Hadoop源码解读(Job提交) Job提交入口 boolean flag = job.waitForCompletion(true); 进入waitForCompletion(true)方法 if (state == JobState.DEFINE) { submit(); } 判断当前的Job状态是否为DEFINE,如果是DEFINE状态就进入submit()方法。 ...原创 2019-11-21 16:01:51 · 260 阅读 · 0 评论 -
Hadoop集群的配置
Hadoop完全分布式集群的搭建三个节点的hadoop集群配置虚拟机准备安装JDK和HADOOP,配置环境变量编写集群分发脚本编写查看集群jps信息脚本SSH无密登录设置集群配置群起集群生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导...原创 2019-11-14 14:08:01 · 372 阅读 · 0 评论