datanode 在本地文件系统存储文件块数据,以及块数据的校验和
secondary namenode 用来监控hdfs状态的辅助后台程序,每隔一段时间获取hdfs元数据的快照
http://blog.csdn.net/lifuxiangcaohui/article/details/39078657
hadoop1mr作业运行机制:
1分割过程:将文件分割成splits,每个文件是一个split,并将文件按行分割成key value对,这一步有
mapreduce框架自动完成,key包括了回车所占字符数
2map过程:将分割的结果key value对交给用户自定义的map方法进行处理,生成新的keyvalue对。这里
有一次排序,框架自动完成,它按照自然逻辑排序。
3combine过程(相同就累加):获得map方法输出的key value对后,mapper会将他们按照key值进行排序
,并执行combine过程,将key至相同的value值累加,得到mapper的最终输出结果。
4reduce排序和执行reduce方法:把combine处理后的数据copy到reduce端,然后reduce先对从combine的
数据进行排序,再交由用户自定义的reduce方法进行处理,得到新的keyvalue对,并作为wordcount的输
出结果。这里在获得combine的数据后就马上进行排序,
通过mr运行job,提交给jobclient,然后jobclient向jobtracker请求作业号,提交作业,同时复制作业
的资源文件,jobtracker根据这个作业号,创建作业对象。jobtracker从hdfs上获取输入划分,判定有
多少个map,然后jobtracker通过心跳把信息传给tasktracker,tasktracker从hdfs上获取作业的资源文
件,登陆子jvm,启动map reduce程序
hadoop1的槽slot hadoop2的容器container区别
metadata存储到磁盘文件名为fsimage(元数据在磁盘上的位置)
block的位置信息不会保存到fsimage
edits记录对metadata的操作日志
通过向nn发送心跳保持联系,3秒一次,如果nn10分钟没有收到dn的心跳,则copy上面的block到其他dn
安全模式
namenode启动时,会进入安全模式(只读),这个阶段nn会收集各个dn的报告,检查副本数,
加载映像文件fsimage载入内存,执行edits的操作,一旦在内存中成功建立文件系统元数据的映射,则创建一个新的
fsimage和空的编辑日志