- 使用sqoop 同步数据时报错 错误信息:
20/01/09 08:02:08 INFO ipc.Client: Retrying connect to server: st3/192.168.3.212:8032. Already tried 2 time(s); retry policy is RetryUpToM
aximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
连不上st3:8032- 查看8032 发现三台机器未监听该接口,后了解到8032 是 yarn 的resourcemanager 占用的接口,说明resourcemanager没启动。
不知道怎么启动resourcemanager,在st1中启动start-yarn.sh 后, st3 jps 也没有resourcemanager。
怎么回事?
文档里说明启动hadoop 就是启动start-dfs.sh 和 start-yarn.sh 就可以了呀。 - 重启hadoop试一下!
重新启动hadoop, 格式化bin/hdfs namenode -format, 还是不行,还是没有resourcemanager?
原来 ResourceManager需要在ResourceManager节点上启动
继续操作: 在st3 上执行start-yarn.sh ,果然jps resourcemanager 有了
执行sqoop 同步命令, 果然不再报以上错误信息了,报下面的错误信息.
- 查看8032 发现三台机器未监听该接口,后了解到8032 是 yarn 的resourcemanager 占用的接口,说明resourcemanager没启动。
- WARN hdfs.DFSClient: DataStreamer Exception
o
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /test/test1.txt.COPYING could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.
1. 没有datanode 节点可用 !st2 jps 有一个节点,但 st1、st3 没有。
2. 于是core-site.xml 中hadoop.tmp.dir 指定了一个新路径
重新启动hadoop
在cm1 执行start-yarn.sh 后,每台物理机上都有一个DataNode。
在cm3 上执行start-yarn.sh后, resourcemanager 可以了
执行sqoop 同步, 可以同步了。
http://st1:50070
http://st1:8042/node/allApplications