hadoop

namenode 是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的datanode等
datanode 在本地文件系统存储文件块数据，以及块数据的校验和
secondary namenode 用来监控hdfs状态的辅助后台程序，每隔一段时间获取hdfs元数据的快照

50030是观察mapdurce
1分割过程：将文件分割成splits，每个文件是一个split，并将文件按行分割成key value对，这一步有mapreduce框架自动完成，key包括了回车所占字符数
2map过程：将分割的结果key value对交给用户自定义的map方法进行处理，生成新的keyvalue对。这里有一次排序，框架自动完成，它按照自然逻辑排序。
3combine过程（相同就累加）：获得map方法输出的key value对后，mapper会将他们按照key值进行排序，并执行combine过程，将key至相同的value值累加，得到mapper的最终输出结果。
4reduce排序和执行reduce方法：把combine处理后的数据copy到reduce端，然后reduce先对从combine的数据进行排序，再交由用户自定义的reduce方法进行处理，得到新的keyvalue对，并作为wordcount的输出结果。这里在获得combine的数据后就马上进行排序，

通过mr运行job，提交给jobclient，然后jobclient向jobtracker请求作业号，提交作业，同时复制作业的资源文件，jobtracker根据这个作业号，创建作业对象。jobtracker从hdfs上获取输入划分，判定有多少个map，然后jobtracker通过心跳把信息传给tasktracker，tasktracker从hdfs上获取作业的资源文件，登陆子jvm，启动map reduce程序
hadoop1的槽slot hadoop2的容器container区别




yarn
核心思想：将mr1中jobtracker的资源管理和任务调度两个功能分开，分别
有resourcemanager和applicationmaster进程实现
resourcemanager：负责整个集群的资源管理和调度
applicationmaster：负责应用程序相关的事务，比如任务调度，任务监控和容错
yarn的引入，使得多个计算框架可运行在一个集群中
每个应用程序对应一个applicationmaster
mapreduceappmaster：负责任务切分，任务调度，任务监控和容错
maptask/reducetask：任务驱动引擎
每个mapreduce作业对应一个maappmaster
mapreduceapplicationmaster 容错
 失败后，有yarn重新启动
 任务失败后，mrappmaster重新申请资源

federation
1通过多个namenode/namespace把元数据的存储和管理分散到多个节点上，使得
namenode/namespace可以通过增加机器来进行水平扩展
2能把单个namenode的负载分散到多个节点中，在hdfs数据规模较大的时候不会降低
hdfs的性能，可以通过多个namespace来隔离不同类型的应用，把不同类型应用的hdfs元数据
的存储和管理分派到不同的namenode中
ha
1主备namenode
2解决单节点故障
  主namenode对外提供服务，备namenode同步主namenode元数据，以待切换
  所有datanode同时向两个namenode汇报数据块信息
3两种切换选择
  手动切换：通过命令实现主备之间的切换
  自动切换：基于zookeeper实现
基于zookeeper自动切换方案
 zookeeper failover controller：监控namenode健康状态
 并向zookeeper注册namenode

 namenode挂掉后，zkfc为namenode竞争锁，获得zkfc锁的namenode变为active

http://dongxicheng.org/mapreduce/hadoop-optimization-0/

http://www.cnblogs.com/smartloli/p/4272705.html