hadoop知识总结

namenode 是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的datanode等
datanode 在本地文件系统存储文件块数据，以及块数据的校验和

secondary namenode 用来监控hdfs状态的辅助后台程序，每隔一段时间获取hdfs元数据的快照

http://blog.csdn.net/lifuxiangcaohui/article/details/39078657

hadoop1mr作业运行机制：

1分割过程：将文件分割成splits，每个文件是一个split，并将文件按行分割成key value对，这一步有

mapreduce框架自动完成，key包括了回车所占字符数
2map过程：将分割的结果key value对交给用户自定义的map方法进行处理，生成新的keyvalue对。这里
有一次排序，框架自动完成，它按照自然逻辑排序。
3combine过程（相同就累加）：获得map方法输出的key value对后，mapper会将他们按照key值进行排序
，并执行combine过程，将key至相同的value值累加，得到mapper的最终输出结果。
4reduce排序和执行reduce方法：把combine处理后的数据copy到reduce端，然后reduce先对从combine的

数据进行排序，再交由用户自定义的reduce方法进行处理，得到新的keyvalue对，并作为wordcount的输
出结果。这里在获得combine的数据后就马上进行排序，

通过mr运行job，提交给jobclient，然后jobclient向jobtracker请求作业号，提交作业，同时复制作业

的资源文件，jobtracker根据这个作业号，创建作业对象。jobtracker从hdfs上获取输入划分，判定有

多少个map，然后jobtracker通过心跳把信息传给tasktracker，tasktracker从hdfs上获取作业的资源文

件，登陆子jvm，启动map reduce程序
hadoop1的槽slot hadoop2的容器container区别

metadata存储到磁盘文件名为fsimage（元数据在磁盘上的位置）
block的位置信息不会保存到fsimage
edits记录对metadata的操作日志
通过向nn发送心跳保持联系，3秒一次，如果nn10分钟没有收到dn的心跳，则copy上面的block到其他dn

安全模式
namenode启动时，会进入安全模式（只读），这个阶段nn会收集各个dn的报告，检查副本数，

加载映像文件fsimage载入内存，执行edits的操作，一旦在内存中成功建立文件系统元数据的映射，则创建一个新的
fsimage和空的编辑日志