![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
无香菜不欢
多读书,少说话
到点睡觉,按时吃饭。
展开
-
MapReduce如何从Map端获取数据源的路径
在Mapreduce流程中,在Map端常常遇到需要根据来自不同数据源的<key,value>,进行不同的操作。因此,经常需要获取到<key,value>的数据来源。获取文件名的大致流程为:Context(map函数里) → InputSplit → FileSplit → Path → String(file name)。ContextContext是Mapper的内部类,在Map或Reduce任务中跟踪task的状态,Context在Map端执行时携带上下文信息。可理解原创 2020-06-05 22:10:36 · 769 阅读 · 0 评论 -
hdfs的四大机制详解
心跳机制目的:为了实现主节点和从节点的通信重点:两个参数和namenode判定datanode宕机所需的时间因为hdfs具有心跳机制,所以在搭建分布式集群时,必须进行时间同步。心跳机制的原因:namenode是集群中的老大,负责进行任务分工,要进行分工,必须知道各个datanode结点的存活状态。namenode怎么 知道datanode的存活状态?datanode每隔一定...原创 2019-09-26 13:32:52 · 795 阅读 · 0 评论