安装hadoop3.0版本踩坑

最新推荐文章于 2025-02-08 18:52:54 发布
最新推荐文章于 2025-02-08 18:52:54 发布
阅读量1.6w 收藏 20
点赞数 4
分类专栏： 面试 大数据 文章标签： hadoop3.0
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32635069/article/details/80859790
版权
本文档记录了在安装hadoop3.0过程中遇到的端口设置、配置文件变化、namenode格式化错误以及启动脚本报错等问题，并提供了详细的解决步骤，包括修改启动脚本和配置ssh免密码登录。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、hdfs的web页面默认端口是9870 yarn的web页面端口是8088
2、配置文件中的slaves文件没了，变成了workers文件，在里面配置datanode节点
3、在进行namenode格式化是有几个Fail，不要因此怀疑自己，只要common.Storage: Storage directory /usr/local/hadoop-3.0.2/hdfs/name has been successfully formatted. 这个提醒是存在的就没有问题
4、在启动时，start-dfs.sh start-yarn.sh时报错

Starting namenodes on [namenode]
ERROR: Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
Starting secondary namenodes [datanode1]
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.
Starting resourcemanager
ERROR: Attempting to operate on yarn resourcemanager as root
ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.
Starting nodemanagers
ERROR: Attempting to operate on yarn nodemanager as root
ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation.

解决办法：

注意是在文件开始空白处

在start-dfs.sh中：

HDFS_DATANODE_USER=root
最低0.47元/天 解锁文章
记录一下mac 安装hadoop3.x的踩坑过程
mk2345的博客
11-22 454
捣鼓了一整天，终于搞完了，写个hadoop安装教程记录一下 安装主要还是分成五个部分： 1、java环境搭建 因为我的电脑没有java运行环境，所以首先先装了一个java，在官网下载安装就行 地址：https://www.oracle.com/java/technologies/javase-downloads.html ·检查java的安装目录、安装版本 /usr/libexec/java_home java -version ·配置path，classpath路径 从终端打开profile文件 sud
hadoop3.0+spark2.0两台云服务器集群环境配置。
七和
12-19 2779
     最近买了一台云服务器（阿里云）来做web服务器，做的网站只是初步版本（www.qihea.xyz），没人访问，觉得有些浪费。加上舍友也有一台云服务器（天翼云），并且最近在学spark，于是打算在这两台机器中搭建环境。这两台机器都是1核2g的，反正对于学习时足够了。     在配置过程中我发现：我遇到的所有的bug，都是配置问题，尤其是简单的单词拼写的问题。如果你配置过程中有什么问题可以...
IO error: /var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state/LOCK: 权限不够
qq_33286695的博客
09-09 1671
Cloudera Manager启动Yarn阿报错错误日志如下：解决方案：login the related node server, check the permission and ownership of those directories /var/lib/hadoop-*, I got the following infothey are not right. so we need ...
解决ERROR: Attempting to operate on hdfs namenode as root
m0_52445307的博客
09-16 4580
这个错误提示表明你正在尝试以 root 用户身份操作 HDFS 的 Namenode，但是没有定义 HDFS_NAMENODE_USER 环境变量。1、在环境变量添加配置，我是在自己编写的my_env.sh中添加的（/etc/profile.d/my_env.sh）
Hadoop运行报ERROR: Attempting to operate on hdfs as root或者HDFS_ZKFC_USER defined错误的解决方法
热门推荐
想你依然心痛的博客
06-26 5万+
修改start-yarn.sh和stop-yarn.sh。修改start-dfs.sh和stop-dfs.sh。使用root账号启动服务，但没预先定义。修改后重新启动Hadoop就成功了！欢迎start，欢迎评论，欢迎指正。
hadoop3访问hdfs web控制页面遇到的各种问题总结
web_15534206248的博客
08-17 2147
最近通过虚拟机安装配置了hadoop集群，集群虽然搭建起来了，不过通过浏览器访问管理界面的过程中遇到了一些问题，现整理总结一下。
[hadoop]3.0.0以上版本运行hadoop-mapreduce-examples的pi官方示例（踩坑日记）
新一的技术笔记
01-26 8634
前言： hadoop环境都配置好了。运行官方示例 1. 下载官方示例的jar 2. 运行命令hadoop jar hadoop-mapreduce-examples-3.3.0.jar pi 5 5 2.1 遇到问题：任务卡住 Number of Maps = 5 Samples per Map = 5 2021-01-26 16:49:28,195 WARN util.NativeCodeLoader: Unable to load native-hadoop library for you
hadoop3.x+scala+spark-mac血泪安装经验！！
weixin_42766102的博客
02-28 990
hadoop3.x+scala+spark-mac血泪安装经验！！总结：hadoop3.x 安装踩坑填坑配置环境变量(hadoop3+scala+spark)scala安装spark安装 总结： 最折腾的步骤是在hadoop的安装，我尝试安装了4次，前两次直接用brew install hadoop+其他博客上的安装教程，后面两次直接按照hadoop官网说的安，第三次是因为我安装在/usr/loc...
azkaban3.0+的编译安装及踩坑
qq_34264067的博客
10-29 1298
azkaban的安装以及踩坑下载azkanban的源码包编译安装创建数据库创建密钥修改azkaban-exec-server下配置文件，引入mysql的依赖包登录mysql，将azkaban数据库下的executors表的active值改为1；否者启动程序会报azkaban.executor.ExecutorManagerException: No active executors found的异...
hadoop无法访问9870端口
five小点心的博客
02-16 4703
首先查看一下防火墙是否关闭。今天连接Hadoop端口的时候，发现9870端口无法连上。查看了下进程，都已经成功启动。根据自己的host映射。
HDFS概述（背景、优缺点、架构、块大小）
Emeraki的博客
10-25 909
第一章 HDFS概述 （1）HDFS产生背景   随着数据量越来越大，在一个操作系统下存放不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是却不方便管理和维护。于是就迫切的需要一种系统来管理多台机器上的文件，这就是分布式文件系统，HDFS即hadoop distributed file system，是分布式文件管理系统中的一种。   HDFS是一个文件系统，用于存储文件，通过目录树来定位文件。其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器各司其职。   HDFS的使用场景：适
HDFS的9870端口与8020端口
最新发布
m0_74230025的博客
02-08 614
v1:9870：用于访问 HDFS 的 Web UI，主要用于监控和管理。：用于 HDFS 客户端与 NameNode 之间的 RPC 通信，用于执行文件系统的操作。如果你在使用 HDFS 时遇到问题，可以检查这两个端口是否正常工作，以及 HDFS 服务是否已启动。
Hadoop大数据技术复习资料
weixin_43744732的博客
12-29 1384
Hadoop大数据技术复习资料 ​ 钟兴宇 1.选择题15空，共30分。 Hadoop以HDFS（Hadoop Distributed File System，Hadoop 分布式文件系统）和MapReduce（Google MapReduce 的开源实现）为核心。 hadoop三种安装方式：单体，伪分布式，完全分布式 Hadoop集群启动时个进程的启动顺序：namenode，datanode，secondnam
配置hadoop-3.3.0遇到的坑
方法属性类，一个都不会
08-09 1326
1、hdfs的web页面默认端口是9870 yarn的web页面端口是8088 http://192.168.134.132:8088/ http://192.168.134.132:9870/ 2./opt/hadoop/hadoop-2.8.0/etc/hadoop/slaves里面的slaves文件变成了workers 3.在进行namenode格式化时报错： 解决办法： 在/opt/hadoop/hadoop-3.3.0/sbin/start-dfs.sh中添加： .
hadoop集群部署之集群配置（三）
traveler-leon的博客
08-06 2191
集群节点布置方案 我会按照以上表格的表格进行集群节点的布置。 关于以上的节点是什么意义，请看第一篇所讲的基础内容，这里只做简单的说明： HDFS层面 DataNode：具体的存储节点 NameNode:可理解为管理整个存储的目录，也就是哪个文件存到了具体的哪个DataNode上 SecondaryNameNode：对NameNode的备份，防止挂掉 Yarn层面 NodeManager：具体的资源管理节点 ResourceManager：总的资源管理节点 最后再强调一点内容，就是标红色的节点不能布置到同一
hadoop的HDFS-----防火墙导致9870端口无法访问
半岛铁盒的博客
12-08 3811
常规问题原因是防火墙未关闭或者使用的是传统的Edge浏览器 解决方法则是:关闭虚拟机的其它节点的所有防火墙,并使用谷歌浏览器; 记录一下防火墙的解决方法 systemctl status firewalld 查看防火墙的运行状态; 可以看出这里的防火墙的状态是开启着的,导致我无法访问9870的端口; 而别的节点的防火墙的状态是关闭着的; 只需关闭上面的那一个防火墙即可; 关闭防火墙 systemctl stop firewalld 禁止开机的时候启动防火墙 systemctl disable fire
ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.
weixin_33747129的博客
06-22 5462
将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数 HDFS_NAMENODE_USER=root HDFS_DATANODE_USER=root HDFS_SECONDARYNAMENODE_USER=root YARN_RESOURCEMANAGER_USER=root YARN_NODEMANAGER_USER=root start-yarn.sh...
hadoop9870端口无法访问解决方法之一
wangjianyin123的博客
10-26 909
1.在电脑搜索栏输入记事本，然后以管理员身份运行。2.打开后，点文件下的打开。
Hadoop3.0新特性
m0_52931616的博客
08-17 800
Hadoop3.0新特性
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值