Windows环境提交MapReduce任务到Linux报错

最新推荐文章于 2023-05-10 09:22:00 发布

纯净天空7

最新推荐文章于 2023-05-10 09:22:00 发布

阅读量626

点赞数 2

分类专栏： Hadoop项目问题文章标签： hadoop

本文链接：https://blog.csdn.net/asymuxue/article/details/115005308

版权

本文介绍了在Windows环境下使用IDEA提交MapReduce任务到Linux上的Hadoop集群时遇到的三个问题及解决方案。第一个问题是关于URI中逻辑节点与端口信息的冲突，通过检查和修改POM依赖解决了；第二个问题是远程提交任务时出现的“fg: no job control”错误，尝试开启跨平台属性未成功；第三个问题是运行时找不到自定义Mapper类，解决方法是正确打包并引入项目。

摘要由CSDN通过智能技术生成

系统环境

C.D.H 版本：6.2.0
hadoop 版本：3.0.0
集群环境：Linux CentOS7

`①`.java.io.IOException: Port 9820 specified in URI hdfs://nameservice1:9820/user/root/.staging/job_1616116977910_0014/job.splitmetainfo but host ‘nameservice1’ is a logical (HA) namenode and does not use port information.

在这里插入图片描述

问题描述：

闲暇情况下，尝试用 C.D.H 搭建了一个Hadoop集群，所用版本是 6.2.0 ，集群是跑在Linux虚拟机的，然后运行一个简单的 mapreduce的任务，发现在虚拟机节点可以直接运行，但是放到 windows下的IDE （这里用的是IDEA）中,报错： java.io.IOException: Port 9820 specified in URI hdfs://nameservice1:9820/user/root/.staging/job_1616116977910_0014/job.splitmetainfo but host 'nameservice1' is a logical (HA) namenode and does not use port information.

问题分析：

从错误日志看到，nameservice1是逻辑节点，没有使用到 9820 节点？？？
处理：起初以为是 core-site.xml的配置文件中的配置写错了，通过查看老哥们的博客说是，配置里面端口号不能写，但是因为我的配置文件是从CDH集群中直接取下来的，并没有端口在写。以下是真实的配置：

  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://nameservice1</value>
  </property>

这就奇怪了，后来去查看源码，发现

if (checkPort && ((AbstractNNFailoverProxyProvider)providerNN).useLogicalURI()) {
   
            int port = nameNodeUri.getPort();
            if (port > 0 && port != 9820) {
   
                throw new IOException("Port " + port + " specified in URI " + nameNodeUri +