sparkSQL操作中spark内报错“拒绝连接”解决方案

最新推荐文章于 2024-07-11 15:23:01 发布

木马山川

最新推荐文章于 2024-07-11 15:23:01 发布

阅读量2.4k

点赞数 2

文章标签： spark hadoop 大数据 hdfs

本文链接：https://blog.csdn.net/newtian/article/details/127350689

版权

at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:508)
        ... 8 more
Caused by: java.net.ConnectException: 拒绝连接
        at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
        at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
        at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
        at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
        at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:495)
        at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:615)
        at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:713)
        at org.apache.hadoop.ipc.Client$Connection.access$2900(Client.java:376)
        at org.apache.hadoop.ipc.Client.getConnection(Client.java:1529)
        at org.apache.hadoop.ipc.Client.call(Client.java:1452)
        ... 28 more

当你看到这段报错代码，请注意，要检查一下几个地方：

1.hive相关的配置完成后有没有使用source /etc/profile更新配置；
2.有没有开启全部的节点服务器；（sparkSQL操作要使用hdfs，而hdfs是hadoop集群核心组件，想要打开Hadoop集群就要几个节点全开机后在主节点输入“start-all.sh”开启集群及集群内部署的hdfs，不要忽略这一步）
3.注意没有设置开机自启动mysql服务的要启动mysql服务“systemctl start mysqld”