Hadoop集群搭建过程中DataNode与TaskTracker节点的问题

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/a2011480169/article/details/52900385

在Hadoop集群搭建的过程中,我们总会发现在slaves文件中的主机名既是DataNode也是TaskTracker,这是为什么呢?
这里写图片描述
今天在黄宜华《深入理解大数据》一书中找到了答案:96页
原因:
为了实现Hadoop系统设计中 本地化计算 的原则,数据存储节点DataNode与计算节点TaskTracker将合并设置,让每个从节点同时运行作为DataNode和TaskTracker,以此让每个TaskTracker尽量处理存储在本地DataNode上的数据。

展开阅读全文

没有更多推荐了,返回首页