![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
wcnmbcsd
sdfadfaf
展开
-
Hadoop中Mapper类的setup()函数在什么地方调用
经过跟踪hadoop源码发现,Mapper类的setup()函数在Mapper类的run()函数中被调用。 向hadoop提交job后,hadoop会在MapTask的runNewMapper()或者runOldMapper()函数中使用反馈机制实例化具体的Mapper子类,然后调用这个对象的run()函数,其中setup()函数就在这个函数的开始被调用,因为hadoop会向setup()函...原创 2014-06-05 21:27:29 · 152 阅读 · 0 评论 -
hadoop2.x常用端口及定义方法
Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。 这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper: [table] |组件| 节点| 默认端口| 配置| 用途说明| |H...原创 2015-03-29 12:40:44 · 139 阅读 · 0 评论 -
hadoop2.X安装遇到的问题
1.zookeeper无法启动错误。 可能是由于没有关闭防火墙 2.格式化ZK时 hdfs zkfc –formatZK 无法格式化 原因 复制的命令无法正常执行,手敲的就可以 3.nodemanager无法启动 修改 /etc/hosts 文件 把里面的 127.0.0.1 hadoop ...原创 2015-04-01 22:26:38 · 91 阅读 · 0 评论