hadoop启动问题

  1. 使用sqoop 同步数据时报错 错误信息:
    20/01/09 08:02:08 INFO ipc.Client: Retrying connect to server: st3/192.168.3.212:8032. Already tried 2 time(s); retry policy is RetryUpToM
    aximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
    连不上st3:8032
    1. 查看8032 发现三台机器未监听该接口,后了解到8032 是 yarn 的resourcemanager 占用的接口,说明resourcemanager没启动。
      不知道怎么启动resourcemanager,在st1中启动start-yarn.sh 后, st3 jps 也没有resourcemanager。
      怎么回事?
      文档里说明启动hadoop 就是启动start-dfs.sh 和 start-yarn.sh 就可以了呀。
    2. 重启hadoop试一下!
      重新启动hadoop, 格式化bin/hdfs namenode -format, 还是不行,还是没有resourcemanager?
      原来 ResourceManager需要在ResourceManager节点上启动
      继续操作: 在st3 上执行start-yarn.sh ,果然jps resourcemanager 有了
      执行sqoop 同步命令, 果然不再报以上错误信息了,报下面的错误信息.
  2. WARN hdfs.DFSClient: DataStreamer Exception
    o
    org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /test/test1.txt.COPYING could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.
    1. 没有datanode 节点可用 !st2 jps 有一个节点,但 st1、st3 没有。
    2. 于是core-site.xml 中hadoop.tmp.dir 指定了一个新路径
    重新启动hadoop
    在cm1 执行start-yarn.sh 后,每台物理机上都有一个DataNode。
    在cm3 上执行start-yarn.sh后, resourcemanager 可以了
    执行sqoop 同步, 可以同步了。

http://st1:50070
http://st1:8042/node/allApplications

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值