这里的本地开发环境是指,我自己有虚拟机搭建的HADOOP环境,但是我想在windows的环境上开发调试hadoop程序,这里HDFS的文件读取和输出还是放在linux虚拟机上,但是程序是跑在windows上的hadoop环境里的
- 运行的代码头部加入
System.setProperty("HADOOP_USER_NAME", "root");
2.windows环境变量里加入本地hadoop的路径HADOOP_HOME,然后把%HADOOP_HOME%\bin 加入系统path
3.把debug工具winutils.exe 复制到HADOOP_HOM\bin里
- 再具体代码的Configuration对象里,修改HDFS的主机地址和yarn地址
Configuration config =new Configuration();
config.set("fs.defaultFS", "hdfs://ubuntu16-node1:8020");
config.set("yarn.resourcemanager.hostname", "ubuntu16-node1");
下面是部分实例代码
public class RunJob {
public static void