eclipse window下连接Hadoop2.0报错：local host is: "win/127.0.0.1"; destination host is: "10.2.3.1":50070;

最新推荐文章于 2024-08-08 16:14:41 发布
最新推荐文章于 2024-08-08 16:14:41 发布
阅读量9.4k 收藏 2
点赞数 1
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lifuxiangcaohui/article/details/51193550
版权
在Eclipse中尝试连接Hadoop2.0时遇到错误，具体表现为：local host is: "win/127.0.0.1"; destination host is: "10.2.3.1":50070。错误原因是DFS Master端口配置错误，正确端口应为8020。文章提供了Hadoop集群中各组件常用端口的概述，并列出NameNode和DataNode的Web UI路径，帮助开发者诊断和解决问题。
摘要由CSDN通过智能技术生成
eclipse连接远程Hadoop错误信息：
Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: 
Protocol    message end-group tag did not match expected tag.; 
Host Details : local host is: "ubuntu/127.0.0.1"; destination host is: "ubuntu":50075


解决办法：
是DFS Master端口写错了，2.0默认为8020


Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Java海洋
关注
专栏目录
订阅专栏
flume报错：java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
zhengzaifeidelushang的博客
08-03 2209
flume报错：java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration Failed to start agent because dependencies were not found in classpath. Error follows. java.lang.NoClassDefFoundError:org/apache/hadoop/conf/Configuration at org.apache.flume.sin
Hadoop 搭建中遇到的问题 —— local host is: "localhost/127.0.0.1"; destination host is: "localhost":9000
HeatDeath的博客
12-25 1万+
ls: Failed on local exception: java.io.IOException: Connection reset by peer; Host Details : local host is: "localhost/127.0.0.1"; destination host is: "localhost":9000; 由于 CentOS 7.2 的镜像有坑，无法使用 servic
Hadoop默认端口说明
热门推荐
zzhongcy的专栏
02-25 1万+
Hadoop默认端口说明 Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper。 组件 D
云存储技术：HBase & HDFS 无感知迁移方案
最新发布
HULK一线技术杂谈
08-08 955
在大数据生态系统中，HBase 和 HDFS 是两个关键组件。HBase 是一个分布式列式数据库，常用于实时读写大规模数据；HDFS 是一个高可靠的分布式文件系统，用于存储海量数据。 1、背景随着业务的发展和技术的进步，可能需要对现有的HBase/Hadoop集群进行迁移，或是因为各种原因（如成本控制、硬件升级、地理位置调整等）进行机房搬迁。这样的操作不仅涉及到大量的技术细节，还需要考虑业务连续性...
hadoop 常用端口记录
qq_22478923的博客
02-20 8122
端口 用途 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-ad
Yarn中的nodemanager报错：local host is: "hadoop01/192.168.85.128"; destination host is: "hadoop01":8031
IT Baicn的博客
01-15 4108
错误 java.io.IOException: Failed on local exception: java.io.EOFException; Host Details : local host is: "hadoop01/192.168.85.128"; destination host is: "hadoop01":8031; Caused by: java.io.EOFExceptio...
hbase_异常_05_End of File Exception between local host is: "rayner/127.0.1.1"; destination host is: "l...
didi9310的博客
03-22 3217
一、异常信息 java.io.EOFException: End of File Exception between local host is: "ubuntu/127.0.1.1"; destination host is: "localhost":9000; : java.io.EOFException; For more details see: http://wi...
hadoop3.2启动报错：hadoop/libexec/hadoop-functions.sh: line 398: syntax error near unexpected t
W
02-24 3431
1. Hadoop3.2.0启动报错 [ec2-user@master ~]$ sh $HADOOP_HOME/sbin/start-all.sh /usr/local/src/hadoop/libexec/hadoop-functions.sh: line 398: syntax error near unexpected token `<' /usr/local/src/hadoop/libexec/hadoop-functions.sh: line 398: ` done < <(
Hive连接报错：Could not open client transport with JDBC Uri: jdbc:hive2://192.168.216.128:10000
zhengzaifeidelushang的博客
05-19 4174
Hive连接报错： Could not open client transport with JDBC Uri: jdbc:hive2://192.168.216.128:10000: java.net.ConnectException: Connection refused: connect java.net.ConnectException: Connection refused: connect java.net.ConnectException: Connection refused: connec
local host is: "node5/172.16.100.115"; destination host is: "node5":9000;
心如止水 宠辱不惊
08-09 2513
17/08/09 15:13:32 INFO spark.SparkContext: Created broadcast 0 from textFile at WordCount.scala:15 Exception in thread "main" java.io.IOException: Failed on local exception: com.google.protobuf.Inval
Hadoop2.x与Hadoop3.x的默认端口变化
web15286201346的博客
04-18 1573
Namenode 端口: 2.x端口 3.x端口 name desc 50470 9871 dfs.namenode.https-address The namenode secure http server address and port. 50070 9870 dfs.namenode.http-address The address and the base port where the dfs namenode web ui will listen on. 8020 9820 fs.default
Hadoop 常用端口号
代妈炼金术师
01-10 2110
请注意，这些是Hadoop组件的标准默认端口，实际部署过程中可以根据需要在配置文件中修改。同时，不同版本的Hadoop可能对某些端口有所调整，请以具体部署环境的实际配置为准。
Hadoop 3.x 笔记（配置、命令、脚本、重要图示、代码实现）
ZZay's
03-30 2647
Hadoop 3.x 笔记 作者： Zzay 目的： 本文章记录 hadoop 3.x 使用过程中常用的配置、命令、脚本、重要图示、实现代码，以方便未来查看使用。 1. 常用配置 1.1 端口号 以下是Hadoop 3.x常用的端口号。 NameNode HTTP UI 端口：9870 NameNode 内部通信端口：8020/9000/9820 Secondary NameNode：9868 YARN 查看执行任务端口（ResourceManager）：8088 历史服务器通信端口（jobHi
hadoop 0.23 HDFS的搭建与配置
似水流年
12-28 580
hadoop 0.23.0比先前的0.20版本有了很大的改动，而我目前最感兴趣的还是HDFS部分的federation部分，由于相关配置资料比较少，下面就把这两天配置情况总结一下作为备忘： 要配置hdfs，关键要知道namenode、datanode、secondarynamenode、backupnode都需要什么配置，下面分别来讨论一下： 1、namenode 1）需要一些目录放置fsi
hadoop 分布式集群部署 一 HDFS 高可用部署（Observer NameNode 进行读写分离）
CodingDemo
07-26 535
在hadoop 3以后，引入一种称为`Observer NameNode`的新型`NameNode`来解决上述问题。与`Standby NameNode`类似，`Observer NameNode`使自己保持命名空间和块位置信息的最新状态，它能提供和`Active NameNode`一致读取的能力。由于一般环境中读取请求在占大多数，因此这有助于负载平衡`NameNode`流量并提高整体吞吐量。
Hadoop-关闭防火墙
Ficus的博客
09-18 2631
Hadoop-关闭防火墙 在防火墙中开放端口80和端口22的方法 $ /sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT $ /sbin/iptables -I INPUT -p tcp --dport 22 -j ACCEPT $ /etc/rc.d/init.d/iptables save 重启计算机后，防火墙默认已经开放了80和22两个端口。 临时性的完全关闭防火墙，可以不重启机器 $ /etc/init.d/iptables status #
linux中start-dfs.sh报错：ERROR: Cannot execute /exprot/server/hadoop/libexec/hdfs-config.sh.
07-14
这个错误通常是由于找不到或无法执行 `hdfs-config.sh` 脚本文件引起的。请确保以下几点： 1. 检查 `/exprot/server/hadoop/libexec/` 目录是否存在，并且 `hdfs-config.sh` 文件是否在该目录下。如果不存在，可能是由于路径配置错误或文件丢失导致的。 2. 确保 `hdfs-config.sh` 文件具有执行权限。可以使用 `ls -l /exprot/server/hadoop/libexec/hdfs-config.sh` 命令来查看文件权限，并使用 `chmod +x /exprot/server/hadoop/libexec/hdfs-config.sh` 命令添加执行权限。 3. 检查环境变量配置是否正确。确保 `$HADOOP_HOME` 和 `$PATH` 等环境变量已正确设置，并且指向正确的 Hadoop 安装路径。 如果以上步骤都正确，但问题仍然存在，请提供更多详细信息，例如完整的错误日志和操作系统版本，以便更好地帮助您解决问题。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Java海洋

你的鼓励，是我写下去的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值