本地模式方便debug,推荐使用
做以下配置是可以在本地正常调试运行,出现问题的话可能是环境配置的问题:
1、替换本地hadoop根目录下的bin/、lib/,(解压默认是linux运行环境),替换后如下图
2、配置环境变量,指定本地hadoop根目录、bin目录:
3、在程序中添加一下代码,更多配置,请查找.xml文件
// 本地模式:local ; 提交到yarn上就改为:yarn
conf.set("mapreduce.framework.name", "local");
// 本地模式下,输入输出数据在Hdfs上
conf.set("fs.defaultFS", "hdfs://192.168.217.10:9000/");
// 本地模式下,输入输出数据在本地磁盘
// conf.set("fs.defaultFS", "file:///");