前言
刚开始学大数据,由于是分布式环境本地开发好的程序,需要放到测试集群里的跑,来回切换上传非常麻烦,今天终于成功配置出了,在本地IDE环境中也能向测试集群递交Job,甚至获得测试集群历史作业的信息记录。故写下此文以备日后自己查询。
提示:需关闭测试集群的防火墙,或针对IntelliJ IDEA机器IP设定防火墙白名单。
本测试配置环境如下:
Hadoop 2.7.4 (伪分布) on Red Hat Enterprise Linux 7
IntelliJ IDEA on Mac OSX
第一步:
在项目的src目录下创建hadoop配置文件中3个核心xml文件(当然也可以直接从远端的hadoop集群中拷贝过来,但其实只需配置部分信息)。core-site.xml, mapred-site.xml和yarn-site.xml。
第二步,分别配置(修改)这3个xml文件
1、core-site.xml
<!--配置HDFS的NameNode-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata1:9000/</value> <!--设定远端的HDFS地址-->
</property>
2、yarn-site.xml
&