hadoop
文章平均质量分 86
xia_mi123
这个作者很懒,什么都没留下…
展开
-
eclipse配置mr local模式
eclipse配置mr local模式原创 2016-11-23 14:13:30 · 352 阅读 · 0 评论 -
Hadoop 框架理解
鲁棒性数据磁盘故障、心跳和重新复制每一个DataNode向NameNode定期发送心跳消息。网络分区可以导致datanode的子集与NameNode失去连接。NameNode通过心跳检测这种情况的消息。datanode最近没有心跳,NameNode认为该datanode死亡,并且不向它推送任何的新的IO请求。死亡的DataNode上任何数据对于HDFS不可用。DataNode死亡可能会导致原创 2017-03-07 14:59:39 · 469 阅读 · 0 评论 -
Yarn框架的详解,MRv1的区别
原 MapReduce 程序的流程及设计思路:1、首先用户程序 (JobClient) 提交了一个 job,job 的信息会发送到 Job Tracker 中,Job Tracker 是 Map-reduce 框架的中心,他需要与集群中的机器定时通信 (heartbeat), 需要管理哪些程序应该跑在哪些机器上,需要管理所有 job 失败、重启等操作。2、TaskTracker 是 Map原创 2017-03-09 13:24:20 · 1396 阅读 · 0 评论