在腾讯云环境下,dolphinscheduler海豚调度sqoop脚本可以正常从mysql消费数据到hive表中,但是DS的状态却显示为失败。
看DS的运行日志,出现了空指针异常,获取应该的状态失败。
查看DS的worker日志,发现DS每次是去连接host:8088获取应用的状态,而腾讯云的httpaddress端口为5004。
解决方法:
1、在DS的conf中的common.properties配置文件中加入配置resource.manager.httpaddress.port=5004
2、将每个节点的DS的conf中common.properties配置文件中的这个配置的端口改成5004
如果修改完配置后,是通过DS自带的一键部署脚本install.sh来重新部署,需要修改install.sh脚本中的配置:
因为使用这个脚本重新部署的时候,这个参数会覆盖在common.properties中的配置。