腾讯大数据环境(tbds)对接问题处理日志
问题0,提交Spark任务报错
- 解决
使用腾讯Spark客户端的spark客户端的文件拷贝到。
问题1,执行报错,提示连接到了错误的服务器的8020端口
- 日志
read hive exMessage:java.lang.RuntimeException: java.net.ConnectException: Call From tbds-172-22-10-87/172.22.10.87 to tbds-172-22-10-45:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused;\n\tat
- 解决
site配置文件中ip配置错误,更换site配置文件。
问题2,执行报错,提示找不到tez的session类
- 日志:
exMessage:java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning when creating Hive client using classpath: