Windows环境提交MapReduce任务到Linux报错

本文介绍了在Windows环境下使用IDEA提交MapReduce任务到Linux上的Hadoop集群时遇到的三个问题及解决方案。第一个问题是关于URI中逻辑节点与端口信息的冲突,通过检查和修改POM依赖解决了;第二个问题是远程提交任务时出现的“fg: no job control”错误,尝试开启跨平台属性未成功;第三个问题是运行时找不到自定义Mapper类,解决方法是正确打包并引入项目。
摘要由CSDN通过智能技术生成

系统环境

C.D.H 版本:6.2.0
hadoop 版本:3.0.0
集群环境:Linux CentOS7

.java.io.IOException: Port 9820 specified in URI hdfs://nameservice1:9820/user/root/.staging/job_1616116977910_0014/job.splitmetainfo but host ‘nameservice1’ is a logical (HA) namenode and does not use port information.

在这里插入图片描述

问题描述:

闲暇情况下,尝试用 C.D.H 搭建了一个Hadoop集群,所用版本是 6.2.0 ,集群是跑在Linux虚拟机的,然后运行一个 简单的 mapreduce的任务,发现在虚拟机节点可以直接运行, 但是放到 windows下的IDE (这里用的是IDEA)中,报错: java.io.IOException: Port 9820 specified in URI hdfs://nameservice1:9820/user/root/.staging/job_1616116977910_0014/job.splitmetainfo but host 'nameservice1' is a logical (HA) namenode and does not use port information.

问题分析:

从错误日志看到,nameservice1是逻辑节点,没有使用到 9820 节点???
处理:起初以为是 core-site.xml的配置文件中的配置写错了,通过查看老哥们的博客说是,配置里面端口号不能写,但是因为我的配置文件是从CDH集群中直接取下来的,并没有端口在写。以下是真实的配置:

  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://nameservice1</value>
  </property>

这就奇怪了,后来去查看源码,发现

if (checkPort && ((AbstractNNFailoverProxyProvider)providerNN).useLogicalURI()) {
   
            int port = nameNodeUri.getPort();
            if (port > 0 && port != 9820) {
   
                throw new IOException("Port " + port + " specified in URI " + nameNodeUri + 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值