sqoop导出数据时遇到的报错和解决办法

最新推荐文章于 2024-09-18 20:40:56 发布

maximiliansheng

最新推荐文章于 2024-09-18 20:40:56 发布

阅读量4.3k

点赞数

分类专栏：大数据相关文章标签： sqoop

本文链接：https://blog.csdn.net/maximiliansheng/article/details/90510748

版权

大数据相关专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1. sqoop 导出数据到mysql报警告

WARN split.JobSplitWriter: Max block location exceeded for split

编辑 mapred-site.xml，添加：

  <property>
    <name>mapreduce.job.max.split.locations</name>
    <value>18</value>
  </property>

注意：写18是因为我的cdh集群里有18个节点。

在cdh manager 管理页面，搜索mapred-site，然后在下面的每一项mapred-site.xml配置都添加上配置。

在这里插入图片描述

然后保存更改，重启服务。

进入每个节点服务器上查看：

[root@hadoop17 conf]# cd /etc/hadoop/conf
[root@hadoop17 conf]# grep -r "mapreduce.job.max.split.location" ./*
./mapred-site.xml:    <name>mapreduce.job.max.split.locations</name>

能查到说明配置成功。

2. sqoop导出数据到mysql遇到报错,但是最后能导出成功。

19/04/13 03:15:46 WARN ipc.Client: Failed to connect to server: hadoop4/10.10.65.248:8032: retries get failed due to exceeded maximum allowed retries number: 0
java.net.ConnectException: Connection refused
。。。。
。。。
19/04/13 03:15:46 INFO client.ConfiguredRMFailoverProxyProvider: Failing over to rm427

原因： yarn resourcemanager有两台，hadoo4 和hadoop7 ，默认先连接hadoop4，但是当前活动的RM是hadoop7,。所以连不上hadoop4会报错，然后转移到hadoop7连接。

解决：在CM的YARN 管理页面，手动重启一下hadoop7上的ResourceManager角色。hadoop4自动变为active的RM。