IntelliJ IDEA 连接 Hadoop

weixin_33849215

于 2015-02-01 17:52:00 发布

阅读量375

点赞数

文章标签：大数据开发工具 python

原文链接：https://my.oschina.net/zc741520/blog/374175

版权

2019独角兽企业重金招聘Python工程师标准>>>

Hadoop环境：CentOS6.6 Hadoop1.2.1
开发环境：Windows7 IDEA13

1. 在 Win7 上创建一个与 Hadoop 集群用户同名的用户（或者直接更改当前用户名）

2. 使用新创建的用户启动 IntelliJ IDEA ，确保程序中引用的 jar 都是 compile ，设置 Hadoop 执行环境

Configuration conf = new Configuration();
conf.set("mapred.jar", "./out/MinTemperature.jar"); //运行前程序要被打成JAR包
conf.set("fs.default.name", "hdfs://hadoop1:9000");
conf.set("mapred.job.tracker", "hadoop1:9001");

3. 设置运行参数

附图：