MapReduce3种运行方式

MapReduce运行 3 种方式：

一、本地方式运行：
1、pc环境：
    1.1、将Hadoop安装本地解压
    1.2、配置Hadoop的环境变量
        添加%HADOOP_HOME%
        修改%PATH%  添加%HADOOP_HOME%/bin;%HADOOP_HOME%/sbin
    1.3、在解压的Hadoop的bin目录下 添加winutils.exe工具
2、Java工程
    2.1、jdk一定要使用自己的jdk、不要使用eclipse自带
    2.2、根目录（src目录下），不要添加任何MapReduce的配置文件  hdfs-site.xml yarn-site.xml core-site.xml mapred-site.xml
    2.3、在代码当中，通过conf.set方式来进行指定。conf.set("fs.defaultFS", "hdfs://node1:8020");
    2.4、修改Hadoop源码 ，将NativeIO和YARNRunner两个类拷至项目下  org.apache.hadoop.io.nativeio.NativeIO中access方法 返回值改为空
3、右键run执行

集群运行两种方式：
二、
    Java工程
    1、根目录（src目录下），添加Hadoop的配置文件 hdfs-site.xml yarn-site.xml core-site.xml mapred-site.xml
    2、在代码当中，指定jar包的位置，config.set("mapred.jar", "D:\\MR\\wc.jar");
    3、修改Hadoop源码
    4、将工程打jar包
    5、右键run执行

三、
    Java工程
    1、根目录（src目录下），添加Hadoop的配置文件 hdfs-site.xml  yarn-site.xml core-site.xml mapred-site.xml
    2、将工程打jar包
    3、手动将jar包上传到集群当中
    4、通过hadoop命令来运行。hadoop jar jar位置 mr代码入口 （例如：hadoop jar /usr/wc.jar com.sxt.mr.WcJob）

HBase运行：
在代码当中指定HBase所使用的ZooKeeper集群。
（注意：如果hbase搭建的是伪分布式，那么对应的ZooKeeper就是那台伪分布式的服务器）
conf.set("hbase.zookeeper.quorum", "node1,node2,node3");

System.setProperty("HADOOP_USER_NAME", "root");