MapReduce本地模式

---

本地模式方便debug，推荐使用

---

做以下配置是可以在本地正常调试运行，出现问题的话可能是环境配置的问题：

1、替换本地hadoop根目录下的bin/、lib/，（解压默认是linux运行环境），替换后如下图

2、配置环境变量，指定本地hadoop根目录、bin目录：

3、在程序中添加一下代码，更多配置，请查找.xml文件

        // 本地模式：local  ； 提交到yarn上就改为：yarn
        conf.set("mapreduce.framework.name", "local");
        // 本地模式下，输入输出数据在Hdfs上
        conf.set("fs.defaultFS", "hdfs://192.168.217.10:9000/");
        // 本地模式下，输入输出数据在本地磁盘
//      conf.set("fs.defaultFS", "file:///");

4、本地模式下，输入输出数据在hdfs上需要在run configuration中指定hadoop用户（见下图）；若输入输出数据在本地不用指定hadoop用户，但输入输出路径要修改为本地路径（如：C:\Users\ZYS\Desktop\flowsum\input）