windows下通过IDE发布job到Hadoop Linux集群

环境

• IDE IntelliJ IDEA 2017.2.2 x64
• 本地OS Windows10
• Hadoop 2.8.1
• 集群OS 多台CentOS 6.5
• jdk1.8
• 项目构建 Maven

步骤

相对于本地独立运行需要对org.apache.hadoop.conf.Configuration对象通过set以键值对方式添加以下配置项

# 以下4条配置皆可于%HADOOP_HOME%/etc/hadoop/目录下的core-site.xml、mapred-site.xml、yarn-site.xml获得
yarn.resourcemanager.hostname=192.168.0.100
mapreduce.framework.name=yarn
dfs.replication=2
fs.default.name=hdfs://192.168.0.100:9000
# 必须加入此条配置，定义maven打包后jar包的路径，jar将被传送到集群供其调用map及reduce
mapred.jar=H:\\project\\ideaProject\\hadoop-demo\\target\\hadoop-demo-1.0-SNAPSHOT.jar
# 以下两条配置保证了windows->linux的兼容性问题解决
mapred.remote.os=Linux
mapreduce.app-submission.cross-platform=true

接下来运行成功通过yarn发布，并可在yarn_host:8088地址查看相应的job处理记录