![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 94
郁萌萌
这个作者很懒,什么都没留下…
展开
-
Hadoop之MapReduce
MapReduce编码规范及实例 一个MapReduce程序在分布式运行时有三类实例进程: MrAppMaster:负责整个程序的过程调度及状态协调。 MapTask:负责Map阶段的整个数据处理流程。 ReduceTask:负责Reduce阶段的整个数据处理流程。 MapReduce编程规范:Mapper、Reducer和Driver Mapper阶段: 用户自定义的Mapper要继承自己的父类 Mapper的输入数据是KV对的形式(KV的类型可自定义) Mapper中的业务逻辑写在map()方法中原创 2021-07-31 10:04:04 · 219 阅读 · 0 评论 -
HADOOP之完全分布式配置
Hadoop原创 2021-07-15 11:01:17 · 347 阅读 · 0 评论 -
HADOOP之HDFS
HDFS 文件块 HDFS的组成 NameNode:管理HDFS的名称空间,配置副本策略,管理数据块的映射信息,处理客户端的读写请求。 DataNode:存储实际的数据块,执行数据块的读写操作。 Client:客户端。文件上传时Client将文件切分成数据块然后上传,与NameNode交互获取文件位置信息,与DataNode交互读写数据,Client提供一些命令来管理HDFS例如NameNode格式化,通过一些命令来访问HDFS。 Secondary NameNode:辅助NameNode定期合并Fsim原创 2021-07-11 17:26:53 · 247 阅读 · 2 评论