Hadoop
HDFS
MapReduce
- Hadoop节点
1.NameNode:管家,协调集群数据存储
- DataNode:存储数据块
- JobTracker:协调计算任务
- TaskTracker:执行JobTracker指派的任务
- SecondaryNameNode:帮助NameNode收集文件系统运行的状态信息
NameNode:
- FsImage:存放文件树,文件、文件夹元数据
- EditLog:记录对文件的操作;
操作顺序:
FsImage—>内存---->执行EditLog
问题:EditLog很大时,需要等待时间很久,影响用户使用
解决方案:SecondaryNameNode(秘书)
工作图示:
DataNode
- 保存数据在本地Linux File System