Hadoop
记录Hadoop在工作中遇到的问题及相关知识点
liumu243
这个作者很懒,什么都没留下…
展开
-
MapReduce(分布式技术框架)
MapReduce组件组成Client,JobTracker,TaskTracker和TaskMapReduce架构图图片截取来源:Hadoop技术内幕:深入解析MapReduce架构设计与实现原理Client:用户编写的MapReduce程序通过Client提交到JobTracker端;一个MapReduce程序可对应若干个作业,每个作业会被分解成若干个Map/Redu...原创 2019-11-05 13:46:08 · 398 阅读 · 0 评论 -
HDFS(分布式文件系统)的架构
HDFS的组件:Client,NameNode,Seconday NameNode,DataNoteHDFS的架构图:图片截取来源:Hadoop技术内幕:深入解析MapReduce架构设计与实现原理HDFS的组件流程详解:Client:通过与NameNode和DataNode交互访问HDFS文件,POSIX系统接口提供给用户。NameNode:负责HDFS的目录树与元数...原创 2019-11-05 11:03:03 · 437 阅读 · 1 评论