![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
drunkwhisky
这个作者很懒,什么都没留下…
展开
-
Hadoop配置
ifconfig 查看网卡名称 vim /etc/sysconfig/network-scripts/ifcfg-ens33(要看ifconfig命令显示的网卡名称) 设置master的IP地址(与主机在同一网段内)和子网掩码 vim /etc/sysconfig/network(设置网关) hostnamectl set-hostname master 更改本机名称为master...原创 2019-05-04 19:43:52 · 84 阅读 · 0 评论 -
MapReduce原理及源码浅析(一)
官网介绍 是否依赖Hadoop 整个计算流程,自己画图 client maptask reducetask split信息 拼接 combine 读取键值对输出 MapReduce原理及源码浅析 MapReduce是ASF推出的大数据开源计算框架,虽然如今的开发过程中已经很少直接编写MR程序,但是MR仍然是大数据计算的灵魂思想,这篇文章主要分析MapReduce计算层面(先不管Yarn层)的原理。...原创 2019-07-08 21:21:58 · 269 阅读 · 0 评论 -
MapReduce原理及源码浅析(二)
MapReduce原理及源码浅析(二) 回顾: 上一篇文章我们讨论了客户端提交MapReduce作业时是如何创建split清单以及MapTask如何读取split中的记录的。获取split实际上调用了FileInputFormat的getSplits()方法,split有四个重要的参数: Path offset length hosts和cachedhosts split中的记录向map环节写...原创 2019-07-12 23:41:26 · 200 阅读 · 2 评论