Hadoop解决 java.net.BindException: Port in use: hadoop103:8088

java.net.BindException: Port in use: hadoop103:8088
        at org.apache.hadoop.http.HttpServer2.constructBindException(HttpServer2.java:1213)
        at org.apache.hadoop.http.HttpServer2.bindForSinglePort(HttpServer2.java:1235)
        at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:1294)
        at org.apache.hadoop.http.HttpServer2.start(HttpServer2.java:1149)
        at org.apache.hadoop.yarn.webapp.WebApps$Builder.start(WebApps.java:439)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.startWepApp(ResourceManager.java:1203)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceStart(ResourceManager.java:1312)
        at org.apache.hadoop.service.AbstractService.start(AbstractService.java:194)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:1507)
Caused by: java.net.BindException: 无法指定被请求的地址
        at sun.nio.ch.Net.bind0(Native Method)
        at sun.nio.ch.Net.bind(Net.java:433)
        at sun.nio.ch.Net.bind(Net.java:425)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        at org.eclipse.jetty.server.ServerConnector.openAcceptChannel(ServerConnector.java:351)
                                                                                                                     115,
去网上查的时候发现大部分都是netstat grep一下自己的端口号是否被占用什么的,查完之后发现并没有。
直到最近发现问题,在我的yarn-site.xml文件中配置的
    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>
才明白,启动yarn的时候必须在你这个resoucemanager的地址才可以。由于以前懒省事,想在一台机子上直接start-all.sh。但是最近考虑到负载均衡问题,所以要手动配置一下resourcemanager和2nn的地址。而start-all.sh = (在一台机子上)start-dfs.sh + start-yarn.sh 这样很容易导致负载不均衡。使用此命令的时候也会报提示 This is deprecated。

下面粘上群起脚本hdp.sh(在~/bin/目录下创建)
我的集群规划是

在这里插入图片描述

#!/bin/bash
if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi
case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="
#路径要是自己的路径才可以 用户名别忘了修改!
#以下都根据自己的实际路径来配置
        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        #historyserver
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac
### Hadoop 中 `java.net.BindException` 错误分析 在分布式计算环境中,Hadoop 集群可能会遇到 `java.net.BindException: Cannot assign requested address` 的错误。此问题表明尝试绑定到特定地址和端口失败。 #### 原因解析 该错误可能由多种因素引起: - **配置不匹配**:如果主机名与实际 IP 地址不符,则可能导致此类错误发生[^3]。 - **网络接口冲突**:当存在多个网络适配器时,程序可能选择了错误的网络接口来监听服务请求[^4]。 - **防火墙或安全组设置不当**:某些情况下,云平台上的虚拟机默认的安全策略会阻止应用程序访问指定端口[^2]。 #### 解决方法 针对上述原因,可以采取如下措施解决问题: 1. **验证并修正配置文件** 确保所有节点中的 `/etc/hosts` 文件正确映射了各节点名称与其内部 IP 地址之间的关系,并且这些信息需保持一致。对于 Hadoop 而言,在核心站点配置 (`core-site.xml`) 和命名空间配置 (`hdfs-site.xml`) 中定义的服务 URL 应指向有效的主机名或 IP 地址。 ```xml <configuration> <!-- core-site.xml --> <property> <name>fs.defaultFS</name> <value>hdfs://node01:9000</value> </property> <!-- hdfs-site.xml --> <property> <name>dfs.namenode.http-address</name> <value>node01:50070</value> </property> </configuration> ``` 2. **检查网络连接状态** 确认每台机器能够通过其设定的名字相互解析对方的真实 IP 地址,并能正常通信。可以通过命令行工具如 `ping`, `nslookup` 或者 `dig` 来测试连通性和 DNS 解析情况。 3. **调整防火墙规则和服务端口权限** 允许必要的入站流量到达目标端口号(例如 NameNode 默认使用的 8020, DataNodes 使用的 50010)。如果是基于云计算环境部署的话,请记得更新相应的安全组规则以开放所需端口范围内的访问权限。 4. **重启相关服务** 完成以上更改之后,建议停止整个集群再重新启动它,以便使新的参数生效。具体操作可参照官方文档指南执行相应指令集。 ---
评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值