hadoop踩坑记录

已于 2023-10-31 15:23:04 修改
阅读量65 收藏
点赞数
文章标签： hadoop 大数据 分布式
于 2023-09-08 16:14:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44422511/article/details/132762587
版权

跟着川川菜鸟学习hadoop集群搭建，安装的是hadoop3.2.4和java20,结果到了上传文件到hdfs的时候，文件上传成功了，但hdfs网页看不到记录，报这个错：Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error，查了下说是Hadoop3.2目前只支持到java8,只能卸掉java重装咯... hadoop入门（六）：集群测试 - 知乎

附上官网下载java8的链接，在官网里找了老半天没找到，还是在网友那里捡到的：Java Archive Downloads - Java SE 8

参考的这篇：Linux JDK8下载&安装_CodeWang_NC的博客-CSDN博客

更新：换了java8之后果然可以在网页看到上传文件了，感人！

咸鱼咩咩
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hadoop踩坑记录
qq_39007328的博客
12-07 186
Hadoop14.04 安装采坑 1.启动hdfs是出现Unable to load native-hadoop library for your platform… using builtin-java classes where appl… /etc/profile配置文件出现路径不对 # 增补如下内容 # Hadoop params export HADOOP_HOME=/home/hd...
腾讯云服务器安装hadoop踩坑记录
weixin_49289485的博客
05-17 314
问题：只有hadoop web界面只有namenode一个主节点，datanode虽然在服务器端显示启动，但是没有在集群中存活，查看datanode日志显示如下 明显可以看到datanode节点一直在试图连接namenode，但是一直连接不上 查阅网上资料得知，腾讯云分为内外网，集群节点之间进行通信需要用外网，所以主节点上的hosts文件需要映射两个从节点的外网ip,两个从节点的hosts文件直接填写三个节点的外网ip 填写完hosts文件后一定要去腾讯云上将防火墙访问规则添加上！！！！ .
从零开始的Hadoop踩坑记录
sinat_37867184的博客
09-11 157
从零开始的Hadoop踩坑记录第1坑：虚拟机桥接模式无法联网 说明：此为个人记录Hadoop分布式集群学习过程中踩坑所用，欢迎讨论发言 环境：VMware14.0+Ubuntu20+Hadoop3.1.3 第1坑：虚拟机桥接模式无法联网 按照单机环境配置方法配置完成后：单机伪分布式环境配置 利用VMware的克隆功能创建了另外两台虚拟机： 但将准备用来作主节点的第一台虚拟机网络适配器更改为桥接模式时，却无法连接网络了 ...
hadoop踩坑记录（1）
_Tucci
04-11 5633
windows单机安装hadoop 3.1.0。建议将java换成java8。最开始用的java10各种问题 到hadoop官网下载。 windows的需要下载一个这个https://github.com/steveloughran/winutils；然后根据自己的hadoop版本，替换掉bin中的文件。 然后将hadoop解压。之后将解压目录设置环境变量HADOOP_HOME。然后配置配置...
云服务器hadoop踩坑史
m0_63993539的博客
04-09 107
我观察了下172.20.183.106这个ip不对啊，我现在的机器掉了换过了，ip尾巴是108，109，110是106明显是错的，因为云服务器一直掉所以内网ip一直换，我开了新机器，新的ip，这时候就应该删除以往记录和数据。
Hadoop踩坑记
Swift_zhqy的博客
06-05 2175
最近在学习Hadoop，学到HA的时候搭建了一个HA的全分布式集群，hdfs和yarn集群都能正常运行了，于是将以前写的MapReduce程序在集群上跑一下试试，结果出错，运行示例程序pi也是一样的错。 在yarn的管理界面上查看mapreduce的日志发现 2018-06-04 16:00:58,564 ERROR [main] org.apache.hadoop.mapreduce.v2....
hadoop集群搭建踩坑记录
noob9527的博客
01-19 692
hadoop集群搭建并启动成功后，打开namenode可视化界面失败 首先怀疑hadoop是否启动成功，jps查看 查看hadoop进程都有，namenode上使用curl命令测试端口是否工作，发现是正常的 netstat -ntlp查看端口9870也正常 在数据节点上使用curl命令测试端口，发现连接拒绝，但网络是通的 在namenode上使用firewall-cmd --list-ports查看哪些端口加了白名单，发现9870不在白名单中 把9870端口加入白名单
记录搭建hadoop踩坑日记 JAVA_HOME Not Found 解决办法
u013132340的博客
09-21 3607
今天在学习hadoop 搭建 真实集群下的hdfs 在启动时，报错了，无法启动。JAVA_HOME NOT FOUND
在服务器上搭建hadoop，踩坑记录（无法
2301_78012738的博客
04-25 731
不是这里的问题就去看看 Hadoop的那几个核心文件里面有没有配对，比如 core-site.xml ，hdfs-site.xml 等里面的web端口号是否写对了。4、注意在服务器上面搭建Hadoop和自己主机的虚拟机上面搭有一处不一样，需要开启端口号的安全组和防火墙，详细的看这个博主的。举个栗子：firewall-cmd --permanent --add-port=9870/tcp。如果上面的都是对的还是访问不了，直接看Hadoop下logs里面的日志，查看原因。
hadoop作业记录档案
12-07
记录hadoop作业，
hadoop 3.1.4
10-03
Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。
docker配置hadoop
09-28
001
hadoop3.3.4 winutils
12-18
在windows11平台，基于hadoop3.3.4源码包自编译，按需自取，内含hadoop.dll等文件以及全部源码等
hadoop-3.1.3安装包
07-28
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合...
Hadoop3：MapReduce中的Partition原理及自定义Partition
Brave_heart4pzj的博客
06-19 100
Hadoop
Hadoop升级失败，File system image contains an old layout version -64
JustinMars的博客
06-19 29
datasophon 部署Hadoop版本。原始版本 Hadoop 3.1.3。升级版本 Hadoop 3.3.3。查看Hadoop格式化版本。
hadoop Yarn资源调度器
最新发布
weixin_40398522的博客
06-19 505
Yarn是一个资源调度平台，负责为运算程序提供服务器资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序相当于操作系统之上的应用程序。
linux中HADOOP_HOME和JAVA_HOME删除后依然指向旧目录
JustinMars的博客
06-12 250
在Linux系统中，当你删除了HADOOP_HOME和JAVA_HOME环境变量后，它们依然指向旧目录，可能是因为这些变量在其他地方被设置了。如果Hadoop或其他相关服务是通过系统服务启动的，检查这些服务的启动脚本。根据你使用的是登录Shell还是非登录Shell，不同的配置文件会被加载。（如果使用zsh）。这些文件也可能包含对HADOOP_HOME和JAVA_HOME的设置。这些文件可能包含对HADOOP_HOME和JAVA_HOME的设置。有时候，环境变量的更改需要重新启动终端或重新登录才能生效。
MapReduce 踩坑 - hadoop No FileSystem for scheme: file/hdfs
08-10
在`hadoop-env.sh`或`hadoop-env.cmd`中，确保`HADOOP_CLASSPATH`包含了必要的jar包路径。 3. 检查你的代码中是否使用了正确的文件系统方案。在你的MapReduce代码中，确保使用了正确的文件系统方案，如`...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值