云服务器hadoop踩坑史

最新推荐文章于 2024-07-16 15:11:45 发布
最新推荐文章于 2024-07-16 15:11:45 发布
阅读量127 收藏
点赞数 1
文章标签： 服务器 hadoop 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63993539/article/details/137528965
版权
作者在配置Hadoop集群时遇到错误，发现问题是由于IP地址不匹配导致的ReplicaNotFoundException。解决方法包括删除旧机器上的datalogs，重新格式化Namenode并初始化。
摘要由CSDN通过智能技术生成

照着尚硅谷做了hadoop集群的配置，在cat查看hdfs文件时报了错，网上搜完全是防火墙，我自己看了下

java.io.IOException: Got error, status=ERROR, status message opReadBlock BP-1218859729-172.20.183.106-1710933895818:blk_1073741828_1004 received exception org.apache.hadoop.hdfs.server.datanode.ReplicaNotFoundException

我观察了下172.20.183.106这个ip不对啊，我现在的机器掉了换过了，ip尾巴是108，109，110是106明显是错的，因为云服务器一直掉所以内网ip一直换，我开了新机器，新的ip，这时候就应该删除以往记录和数据

删除集群上所有机器上hadoop的 data logs
rm -rf data/ logs/

初始化namenode
hdfs namenode -format

 

说:我会守住芙蓉王的一切
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
云部署中的Hadoop
02-26
克服挑战并将基于云的Hadoop部署的优势最大化Hadoop和云似乎是最佳搭档。它们都包含灵活和分布式的处理与存储，而且都带有一个灵活的实例系统。它们还使您能够根据数据和处理需求来扩大和收缩Hadoop集群。但这会引发...
hadoop云服务器环境搭建
05-08
hadoop云服务器环境搭建，自己写的文档，亲测可用，方便初学者搭建hadoop云服务环境
hadoop文件系统操作java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink问题解决
分享技术，传播知识!
12-08 3893
hadoop文件系统操作java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink问题解决 hadoop集群搭建好之后，迫不及待的想用一下，就把一个文件上传至hdfs中吧，没想到中间报了一个问题，如下： [root@hadoop01 bin]# ./hadoop fs -ls / [root@hadoop01 bin]# ./hadoop fs -mkdir /csdn [root@hadoop01
云服务器hadoop踩坑史：java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink
okkkay的博客
03-29 784
解决云服务器搭建hadoop报错：java.io.IOException: Got error, status=ERROR, status message , ack with firs
java.io.IOException: Got error, status message , ack with firstBadLink as 192.168.9.102:50010 at or
JavaBigData的博客
05-23 504
hdfs上传文件只有部分节点有副本 部分节点防火墙关闭，部分未关闭
java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink as ip:端口(亲测有效)
ergouy's blog
03-13 7324
最近运行Hadoop程序的时候遇到了这个Bug，很久才改好，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用。 文章目录一 问题描述二 解决思路和步骤1. 关闭集群中所有节点的防火墙2. 测试集群中节点的联通性3. 测试节点的控制性4. 修改防火墙的设置三 修改完成后的结果四 总结 一 问题描述 执行程序时，在控制台报的错(或者类似的错误)： 在Hadooop的日志中的错误(或者类似的错误)： 2021-03-12 22:21:14,316 INFO hdfs.D.
java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink as
weixin_43918355的博客
05-22 1759
最近部署了Flink实时任务但是, 运行一会儿就会报错 任务checkpoint异常 checkpoint失败原因: Checkpoint expired before completing 进入Flink页面查看报错 Exception in createBlockOutputStream java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink as at org.apache.hado
如何解决 java.io.IOException: Got error, status message , ack with firstBadLink
john_deng2的博客
09-29 6085
当我们遇到以下问题的时候，我们可以在对应的集群服务器那里关闭相应的防火墙。 [root@hadoop01 hadoop-2.7.7]# hdfs dfs -put ./README.txt / 19/09/29 18:47:11 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Got er...
java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink as 192.168.206.
qq_43494013的博客
06-08 311
java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink as 192.168.206.
java.io.IOException: Got error, status message , ack with firstBadLink
weixin_41608066的博客
01-10 1318
写HDFS任务时不时发送Checkpoint超时，查看了日志发下如下异常： location:org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1495) throwable:java.io.IOException: Got error, status message , ack with firstBadLink as ip:port at org.apache.
阿里云大数据Hadoop集群搭建全网最新教程
04-20
有需要linux的在评论区说一下
在阿里云服务器上利用 Docker 搭建 Hadoop 集群
01-07
Docker 安装与配置 安装 Docker（摘自 Docker 官方文档） 设置 Docker Repository 更新软件索引$ sudo apt-get update 安装一些必要的包 $ sudo apt-get install \ ... ca-certificates \ curl \ ...
Hadoop使用过程中常见的错误
向心行者
08-10 1485
1、异常：“java.io.IOException: Got error, status message , ack with firstBadLink as 192.168.1.10:50010” [root@node01 servers]# ./hadoop-2.7.5/bin/hdfs dfs -put test.txt /input 20/08/10 22:28:42 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.
java.io.IOException: Got error, status message , ack with firstBadLink as 192.168.*.* 50010
侠客小虎的博客
04-06 9615
关闭DataNode的服务器的防火墙即可，命令如下：     $ systemctl stop firewalld.service $ systemctl disable firewalld.service
虚拟机HDFS警告解决办法：WARN hdfs.DataStreamer: Excluding datanode DatanodeInfoWithStorage
梁辰兴的博客
11-25 2915
查看防火墙状态，输入命令：systemctl status firewalld。设置“SELINUX=disabled” ，再次执行上传文件就不会出现警告了。禁用防火墙：systemctl disable firewalld。停止防火墙：systemctl stop firewalld。
Hadoop采坑小记
Source_00的博客
10-20 1873
一 eclipse 上传文件到hdfs报错： java.io.IOException: Could not get block locations. Source file "/1108/daxian/banzhang/kafka_2.12-2.0.0.tgz" - Aborting... at org.apache.hadoop.hdfs.DataStreamer.setupPipeline...
java.io.IOException 断开的管道 解决方法 ClientAbortException: java.io.IOException: Broken pipe
热门推荐
zqz_zqz的博客
08-17 20万+
今天公司技术支持的童鞋报告一个客户的服务不工作了，紧急求助，于是远程登陆上服务器排查问题。 查看采集数据的tomcat日志，习惯性的先翻到日志的最后去查看有没有异常的打印，果然发现了好几种异常信息，但是最多还是这个： 24-Nov-2016 09:54:21.116 SEVERE [http-nio-8081-Acceptor-0] org.apache.tomcat.uti...
DataNode日志发现了org.apache.hadoop.hdfs.server.datanode.ReplicaNotFoundException: Cannot append to a non...
weixin_35755823的博客
12-28 390
这个异常的意思是在 DataNode 上找不到指定的副本，因此无法进行追加操作。这可能是由于该副本已被删除或不存在于 DataNode 上，或者该副本在 DataNode 上已损坏。如果你在使用 Hadoop 的文件系统(例如 HDFS)，可能需要检查你的 Hadoop 集群的状态，并确保所有 DataNode 都正常工作。 ...
服务器网络配置
最新发布
weixin_51338719的博客
07-16 487
服务器网络配置大体流程：硬件选择——系统安装——驱动调用——网卡配置
云服务器配置hadoop
05-31
配置 Hadoop 的云服务器可以参考以下步骤： 1. 首先，确保你已经在云服务器上安装了 Java。 2. 下载 Hadoop，并解压缩到你想要安装的目录。比如，解压缩到 /usr/local/hadoop。 3. 配置环境变量。打开 /etc/profile 文件，加入以下内容： ``` export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin ``` 保存文件并执行以下命令使其生效： ``` source /etc/profile ``` 4. 配置 Hadoop。进入 /usr/local/hadoop/etc/hadoop 目录，编辑 core-site.xml 文件，加入以下内容： ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 编辑 hdfs-site.xml 文件，加入以下内容： ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` 5. 启动 Hadoop。执行以下命令： ``` hadoop namenode -format start-all.sh ``` 6. 检查 Hadoop 是否运行。在浏览器中输入以下 URL：http://localhost:50070/。如果看到 Hadoop 的管理页面，则说明 Hadoop 已经成功运行。 这些步骤可以让你在云服务器上成功配置 Hadoop。当然，具体的配置步骤可能因为云服务器的不同而有所差异。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值