Hadoop-MapReduce

  Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；
  Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上；用户不需要考虑分布式的代码。

为什么要使用MapReduce

1. 海量数据在单机上处理因为硬件资源限制，无法胜任
2. 而一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和开发难度
3. 引入mapreduce框架后，开发人员可以将绝大部分工作集中在业务逻辑的开发上，而将分布式计算中的复杂性交由框架来处理。
4. 自己实现分布式计算会出现大量的公共代码，这些代码会影响开发进度。

实战篇

程序运行模式

本地模式

1. mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行
2. 而处理的数据及输出结果可以在本地文件系统，也可以在hdfs上
3. 怎样实现本地运行？写一个程序，不要带集群的配置文件（本质是你的mr程序的conf中是否有mapreduce.framework.name=local以及yarn.resourcemanager.hostname参数）
4. 本地模式非常便于进行业务逻辑的debug，只要在eclipse中打断点即可

如果在windows下想运行本地模式来测试程序逻辑 ，需要在windows中配置环境变量：
％HADOOP_HOME％ = d:/hadoop-2.7.3
%PATH% = ％HADOOP_HOME％\bin
并且要将d:/hadoop-2.8.3的lib和bin目录替换成windows平台编译的版本
注意：集群需要进行时间同步，时间差别比较大的时候提交任务的时候会报时间不同步异常

集群运行模式

1. 将mapreduce程序提交给yarn集群resourcemanager，分发到很多的节点上并发执行
2. 处理的数据和输出结果应该位于hdfs文件系统
3. 提交集群的实现步骤：
     A、将程序打成JAR包，然后在集群的任意一个节点上用hadoop命令启动
   $ hadoop jar wordcount.jar cn.xiaoniu.bigdata.mrsimple.WordCountDriver inputpath outputpath
     B、直接在linux的eclipse中运行main方法
   （项目中要带参数：mapreduce.framework.name=yarn以及yarn的两个基本配置）
   

eclipse提交到集群

		//配置
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://bigdata01:9000");
		conf.set("mapreduce.framework.name","yarn"); 
		conf.set("yarn.resourcemanager.hostname", "bigdata01");
		conf.set("mapreduce.app-submission.cross-platform", "true")<