Hadoop
YaoEmily
脑洞少女 + 程序媛
展开
-
Hadoop MapReduce和Yarn的关系
YARN并不是下一代 MapReduce (MRv2),下一代 MapReduce 与第一代 MapReduce (MRv1)在编程接口、数据处理引擎(MapTask和ReduceTask)是完全一样的, 可认为 MRv2 重用了 MRv1 的这些模块,不同的是资源管理和作业管理系统, MRv1 中资源管理和作业管理均是由 JobTracker 实现的,集两个功能于一身,而在 MRv2 中,将这两转载 2016-11-29 10:43:51 · 3318 阅读 · 0 评论 -
Hadoop DataNode用jps查看无法启动的解决办法
问题描述:部署好Hadoop环境后,在slave机上运行jps看不到Datanode的进程。解决方式:删除所有slave机上hdfs-site.xml中配置的Datanode文件夹中的所有内容(dfs.data.dir参数),再初始化Namenode,运行hadoop namenode -format原因:多次初始化了Namenode,但master没有清空所有Datanode文件夹中的初始化数据,原创 2016-11-29 15:43:35 · 6313 阅读 · 0 评论