hadoop
行者法子
路漫漫其修远兮,吾将上下而求索
展开
-
超详细!CentOS 7 + Hadoop3.0.0 搭建伪分布式集群(适用于3.1.1)
ps:本文的步骤已自实现过一遍,在正文部分避开了旧版教程在新版使用导致出错的内容,因此版本一致的情况下照搬执行基本不会有大错误。如果按本文步骤进行的时候出事了,可以鼠标选中博客页面右侧的目录导航看看最后一部分的意外出事的坑点解决方案。 准备linux主机环境一、安装虚拟机下载地址:VMware workstation 14 Pro (附:许可证秘钥)系统iso:CentOS7 M...转载 2018-08-25 14:53:23 · 2718 阅读 · 0 评论 -
MapReduce的Word Count过程说明
1、MapReduce编程模型MapReduce采用分而治之的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单来说,MapReduce就是“任务的分解和结果的汇总”。在Hadoop中,用于执行MapReduce任务的机器角色有两个:一个是JobTracker;另一个是TaskTracker。...转载 2018-08-25 23:08:21 · 821 阅读 · 0 评论