![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
yanxiangtianji
这个作者很懒,什么都没留下…
展开
-
Hadoop中共享全局信息的几种方法
搞不懂这么久以前的一篇纯技术文章,居然突然说包含敏感词,给我下架了,让我重新发。。。------在编写Hadoop MapReduce程序的过程中有时候需要在各个Mapper或者Reducer中使用一些共享的全局数据,例如在处理整数数据表格的时候有时候需要让每个Reducer知道各个列的取值范围或是一些图算法中需要让各个Reducer知道图的连通关系。加入key/value...原创 2020-02-06 10:55:22 · 5972 阅读 · 2 评论 -
Hadoop动态添加/删除节点(datanode和tacktracker)
总的来说,正确的做法是优先通过配置文件,再在具体机器上进行相应进程的启动/停止操作。网上一些资料说在调整配置文件的时候,优先使用主机名而不是IP进行配置。总的来说添加/删除DataNode和TaskTracker的方法非常相似,只是操作的配置项和使用的命令有微小差异。1. DataNode1.0 配置文件在namenode下修改配置文件conf/mapred-site.xml。关键参数dfs.hosts和dfs.hosts.exclude。注意:不同hado原创 2014-05-30 18:31:28 · 6961 阅读 · 0 评论