hadoop学习笔记之Map-Reduce

Map-Reduce的工作机制：
 a、编写好一个Map-Reduce程序，运行作业程序。
 b、JobClient向JobTracker申请一个作业ID，
 c、JobClient将作业所需要的资源，复制到HDFS系统中。
 d、c、JobClient提交作业
 e、JobTracker初始化作业。
 f、JobTracker向nameNode询问，决定这些任务在哪些机器上跑。
  有关的数据在哪些文件里，这些文件保存在哪些节点的数据块中。
 (程序要和所要运行的作业资源在一起)
 根据taskTracker与JobTracker之间的心跳，知道哪些task可以参与到本次作业中来。
   如：taskTracker必须是活着的，Tracker中是否有其他作业在做。
   确定哪些taskTracker
 g、taskTracker和JobTracker保持心跳，以确定taskTracker是否正常。
 h、taskTracker从HDFS中将相关代码、资源等获取到本地。
 i、架设java虚拟机
 j、开始工作。
 k、taskTracker将结果写入本地硬盘（这个是中间结果不写入HDFS）

任务执行优化
   a、推测式执行：当jobTracker发现有任务拖后腿了，就会额外启动相应的备份任务。当哪个先执行完了，就将另一个kill掉
     缺点：当问题产生的原因是因为代码问题，而不是机器性能问题时，这种机制反而会使得集群的性能下降。
     解决方案：可以在mapred-site.xml中配置关闭推测式执行。
   b、重用JVM
     java之所以慢，最大的原因是JVM启动慢，为了避免反复启动多个JVM，可以配置单个JVM运行的最大任务数。
   c、忽略模式
     有的时候，节点的数据损坏了（hadoop中错误是常态）。任务在读取数据失败2次后，会把数据位置告诉jobtracker,jobtracker在重新启动该任
     务并且在遇到所记录的坏数据时直接跳过。此配置默认是关闭的。用SkipBadRecord打开。

错误处理机制：硬件故障
   a、硬件故障是只jobtracker故障或者tasktracker故障。
   b、jobtracker是单点的，若发生单点故障则hadoop无法处理。选择稳定的系统作为jobtracker.
   c、jobtracker通过心跳（周期1分钟）信号了解tasktracker是否发生故障或者负载过高。
   d、jobtracker将发生故障的tasktracker从任务节点中移除。
   e、若故障节点移除时，有map任务正在执行并且没有完成，则jobtracker会要求其他节点重新执行未完成的map任务。
   f、若故障节点移除时，有reduce任务正在执行并且没有完成，则jobtracker会要求其他节点继续（不是重新执行，为什么呢？）执行未完成的reduce任务。

错误处理机制：任务失败
   a、由于代码层面出现故障，如死循环等。
   b、jvm自动退出，向tasktracker进程发送错误信息，并将错误信息写入日志。
   c、tasktracker在监听到任务退出，或者长时间没有收到信息时，则会判定该任务失败。将任务计数-1，并通过心跳信号告知jbtracker任务失败。
   d、jobtracker会将失败的任务重新放入调度队列中重新分配执行，任务也有可能被分配给原来错误的那个节点执行。
   e、如果某个任务失败次数超过一定值（默认4次，怎么设置？），则该任务将不再被执行，同时此次作业宣告失败。