如何配置IntelliJ IDEA环境向远端HADOOP测试集群递交Job作业。

本文介绍了如何在IntelliJ IDEA中配置环境,以便直接向远端的Hadoop测试集群递交Job作业,省去反复上传的麻烦。步骤包括创建并配置core-site.xml、mapred-site.xml和yarn-site.xml,设置mapreduce.job.jar属性。通过这种方式,开发者可以在本地调试程序,同时作业在远端Yarn管理器中可查。
摘要由CSDN通过智能技术生成

前言
刚开始学大数据,由于是分布式环境本地开发好的程序,需要放到测试集群里的跑,来回切换上传非常麻烦,今天终于成功配置出了,在本地IDE环境中也能向测试集群递交Job,甚至获得测试集群历史作业的信息记录。故写下此文以备日后自己查询。

提示:需关闭测试集群的防火墙,或针对IntelliJ IDEA机器IP设定防火墙白名单。

本测试配置环境如下:
Hadoop 2.7.4 (伪分布) on Red Hat Enterprise Linux 7
IntelliJ IDEA on Mac OSX

第一步:

在项目的src目录下创建hadoop配置文件中3个核心xml文件(当然也可以直接从远端的hadoop集群中拷贝过来,但其实只需配置部分信息)。core-site.xml, mapred-site.xml和yarn-site.xml。

第二步,分别配置(修改)这3个xml文件

1、core-site.xml

<!--配置HDFS的NameNode-->
<property>
		<name>fs.defaultFS</name>
		<value>hdfs://bigdata1:9000/</value> <!--设定远端的HDFS地址-->
</property>

2、yarn-site.xml

&
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值