搭建虚拟机hadoop时，输入./sbin/start-dfs.sh启动hadoop，解决ERROR: Attempting to operate on hdfs namenode

最新推荐文章于 2024-06-30 08:00:00 发布
最新推荐文章于 2024-06-30 08:00:00 发布
阅读量4.6k 收藏 36
点赞数 9
分类专栏： ./sbin/start-dfa.sh 文章标签： hadoop
原文链接：https://blog.csdn.net/weixin_49736959/article/details/108897129?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522163426414316780265476476%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=163426414316780265476476&b
版权

启动hadoop时发生如下错误：

[root@localhost ~]# cd /usr/local
[root@localhost local]# cd hadoop
[root@localhost hadoop]# ./sbin/start-dfs.sh
Starting namenodes on [localhost]
ERROR: Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
Starting secondary namenodes [localhost.localdomain]
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.

解决方法： 

1输入以下命令：

vi /etc/profile

按i进入编辑模式

2添加如下内容：

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

（按esc退出编辑模式，按shift+：后输入wq！点回车保存！）
3输入如下命令使编辑生效：

source /etc/profile

亲测有效哦！！

小亮泽
关注
  • 9
    点赞
  • 踩
  • 36
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用root配置的hadoop启动时报错
banpeng4018的博客
07-04 778
一、报错信息： 　　Starting namenodes on [master] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation....
HDFS上传文件报错org.apache.hadoop.fs.ChecksumException: Checksum error: file:/hyk/data/hyk.txt
01-07
当从本地上传文件到HDFS中时报错 fs.FSInputChecker: Found checksum error: b[0, 69]=6d6f77656968616861686168616868616686168616861686861680a org.apache.hadoop.fs.ChecksumException: Checksum error: file:/...
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
ystyaoshengting的专栏
11-12 2万+
执行hadoop的start-all.sh命令式启动报如下的错误 [root@iZbp13pwlxqwiu1xxb6szsZ hadoop-3.2.1]# start-all.sh Starting namenodes on [iZbp13pwlxqwiu1xxb6szsZ] ERROR: Attempting to operate on hdfs namenode as root ERRO...
Hadoop3.1.1单机搭建问题总结
weixin_44077750的博客
07-08 749
启动start-dfs.sh时出错 // HDFS格式化后启动dfs出现以下错误： [root@localhost hadoop]# ./sbin/start-dfs.sh Starting namenodes on [localhost] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Startin
解决ERROR: Attempting to operate on hdfs namenode as root
m0_52445307的博客
09-16 3245
这个错误提示表明你正在尝试以 root 用户身份操作 HDFS 的 Namenode，但是没有定义 HDFS_NAMENODE_USER 环境变量。1、在环境变量添加配置，我是在自己编写的my_env.sh中添加的（/etc/profile.d/my_env.sh）
hadoop-3.1.3启动HDFS时报错ERROR Attempting to operate on hdfs namenode as root的解决方法
emgexgb_sef的博客
04-18 2920
今天在使用hadoop时遇到了下面这个问题，看报错信息是用户问题，于是上网查了下解决方案，找到两种方式，我使用的是方法1，下面将两种方式都列给大家参考。 报错场景： hadoop-3.1.3启动HDFS时报错，具体错误信息如下： [root@hadoop10 hadoop-3.1.3]# sbin/start-dfs.sh Starting namenodes on [hadoop10] ERROR: Attempting to operate on hdfs namenode as root ERROR
CentOS 7.9 系统搭建 Hadoop 集群
花落花开的博客
03-18 4378
安装环境 虚拟软件：VMware® Workstation 16 Pro 虚拟机操作系统：CentOS 7.9-Minimal 虚拟机 IP：192.168.153.11、192.168.153.12、192.168.153.13 前期规划 Hadoop 集群包含两个集群：HDFS 集群、YARN 集群，两个集群在逻辑上分离，但通常会共用主机。 两个集群都是标准的主从架构集群。 HDFS 集群包含的角色（守护进程）： 主角色：NameNode 从角色：DataNode 主角色辅助角色：SecondaryN
Hbase的部署安装实践
煮酒blog
05-12 386
安装部署hbase 一、安装zookeeper 1.进入压缩包所在文件夹，解压并安装 解压安装路径 2.重命名安装文件 3.赋予用户当前目录的权限 4、将Zookeeper的安装路径添加到系统的环境变量之中 编辑用户根目录下的./bashrc文件，在尾部添加如下信息，并使用source ~/.bashrc命令使配置立即生效 5、配置Zookeeper存储数据的目录和日志输出目录，在zookeeper安装目录下创建data和log目录 修改配置文件，将zookeeper存储数据的目录修改为已创建的da
外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
01-09
报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果 参考 https://blog.csdn.net/xiaozhaoshigedasb/article/details/88999595  防火墙记得关掉； 查看DataNode是否启动；...
在配置SSH免密登录时报错：/usr/bin/ssh-copy-id: ERROR: failed to open ID file ‘/root/.pub’: 没有那个文件或目录
01-07
[root@hadoop1 sbin]# ssh-copy-id hadoop1 /usr/bin/ssh-copy-id: ERROR: failed to open ID file '/root/.pub': 没有那个文件或目录 (to install the contents of '/root/.pub' anyway, look at the -f option) ...
Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码
09-10
Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码 Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码 Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码 Hadoop 3.x（HDFS）----【HDFS 的 API 操作】--...
hadoop-3.1.3.tar.gz
12-06
替换/path/to/hadoop-3.1.3为实际的Hadoop安装路径，然后执行`source ~/.bashrc`使改动生效。 四、配置Hadoop参数 在Hadoop的配置目录（$HADOOP_HOME/etc/hadoop）下，有两个主要的配置文件：core-site.xml和hdfs-...
Hadoop运行报ERROR: Attempting to operate on hdfs as root或者HDFS_ZKFC_USER defined错误的解决方法
热门推荐
想你依然心痛的博客
06-26 5万+
修改start-yarn.sh和stop-yarn.sh。修改start-dfs.sh和stop-dfs.sh。使用root账号启动服务，但没预先定义。修改后重新启动Hadoop就成功了！欢迎start，欢迎评论，欢迎指正。
Hadoop 3.x 启动失败
LZW15082682930的博客
07-11 2840
Hadoop 启动失败
hadoop大数据
qq_41977453的博客
03-23 451
文章目录一 、hadoop简介二、hadoop安装部署1.下载2.解压，写入环境变量三、不完全分布式1. Standalone Operation2.Pseudo-Distributed Operation伪分布式四、完全分布式1.搭建2.测试3. 在线扩容五、工作原理六、高可用 一 、hadoop简介 二、hadoop安装部署 1.下载 wget https://mirrors.tuna.tsi...
hadoop 安装到配置-2021-11-4
前行随笔
11-04 3397
hadoop 安装到配置 文章目录hadoop 安装到配置1. 安装虚拟机2. 安装centos73. 安装hadoop静态IP的配置更改主机名配置本地域名解析（host）设置linux防火墙关闭防火墙：防火墙配置文件：配置ssh（免密连接）安装java安装hadoop安装配置文件描述 :独立安装hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlarn.resourcemanager.hostname=====》》》》 ya
hadoop启动报错： ERROR: Attempting to operate on hdfs namenode as root
CentOS
06-25 146
1、master，slave都需要修改start-dfs.sh，stop-dfs.sh，start-yarn.sh，stop-yarn.sh四个文件。hadoop启动报错： ERROR: Attempting to operate on hdfs namenode as root。
ERROR: Attempting to operate on hdfs namenode as root
qq_46480020的博客
02-20 3644
文章目录一、使用root用户启动hadoop-3.1.3报错1.1 ERROR: Attempting to operate on hdfs namenode as root1.2 JAVA_HOME is not set and could not be found 一、使用root用户启动hadoop-3.1.3报错 1.1 ERROR: Attempting to operate on hdfs namenode as root [root@hadoop100 sbin]# ./start-dfs.s
大数据-Hadoop-基础篇-第十章-Spark
最新发布
Blueeyedboy521的博客
06-30 1123
Spark是一种通用的大数据计算框架,是基于RDD(弹性分布式数据集)的一种计算模型。那到底是什么呢？可能很多人还不是太理解，通俗讲就是可以分布式处理大量集数据的，将大量集数据先拆分，分别进行计算，然后再将计算后的结果进行合并。SparkSQL。
1. 在虚拟机中安装docker2. 使用docker下载 ubuntu 16.04 版本的镜像文件并创建容器3. 在容器中安装并配置Hadoop4. 将容器导出为镜像，利用导出的镜像创建5个容器，主机名分别为 h01、h02、h03、h04、h05。其中 h01 为 master，其他的为 slave。5. 启动Hadoop集群，熟悉Hdfs上传，下载，查看文件等操作6. 运行内置WordCount例子
06-12
好的，你的问题是如何在Docker容器中安装并配置Hadoop以及启动Hadoop集群呢？ 以下是在Docker容器中安装并配置Hadoop以及启动Hadoop集群的步骤： 1. 首先，安装Docker并启动Docker服务。 2. 使用Docker pull命令下载Ubuntu 16.04版本的镜像文件。 ``` docker pull ubuntu:16.04 ``` 3. 创建一个新的容器并运行它。 ``` docker run -it --name hadoop ubuntu:16.04 /bin/bash ``` 4. 在容器中安装Java和SSH。 ``` apt-get update apt-get install -y openjdk-8-jdk apt-get install -y ssh ``` 5. 创建一个新用户，并为其生成ssh公钥和私钥。 ``` useradd -m hduser su - hduser ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ``` 6. 下载并解压Hadoop安装包，并将其移动到/usr/local目录下。 ``` wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.7/hadoop-2.7.7.tar.gz tar -xzvf hadoop-2.7.7.tar.gz mv hadoop-2.7.7 /usr/local/hadoop ``` 7. 配置Hadoop环境变量。 ``` echo "export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /usr/local/hadoop/etc/hadoop/hadoop-env.sh echo "export HADOOP_HOME=/usr/local/hadoop" >> /usr/local/hadoop/etc/hadoop/hadoop-env.sh echo "export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin" >> /usr/local/hadoop/etc/hadoop/hadoop-env.sh ``` 8. 配置Hadoop的核心配置文件。 ``` cd /usr/local/hadoop/etc/hadoop cp mapred-site.xml.template mapred-site.xml cp yarn-site.xml.template yarn-site.xml cp core-site.xml core-site.xml.bak cp hdfs-site.xml hdfs-site.xml.bak ``` 修改core-site.xml： ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://h01:9000</value> </property> </configuration> ``` 修改hdfs-site.xml： ``` <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop/hdfs/datanode</value> </property> </configuration> ``` 修改yarn-site.xml： ``` <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` 9. 配置slaves文件，并将其复制到所有的节点上。 ``` echo "h01" > /usr/local/hadoop/etc/hadoop/masters echo "h02" > /usr/local/hadoop/etc/hadoop/slaves echo "h03" >> /usr/local/hadoop/etc/hadoop/slaves echo "h04" >> /usr/local/hadoop/etc/hadoop/slaves echo "h05" >> /usr/local/hadoop/etc/hadoop/slaves ``` 复制到所有的节点上： ``` scp /usr/local/hadoop/etc/hadoop/slaves hduser@h02:/usr/local/hadoop/etc/hadoop/ scp /usr/local/hadoop/etc/hadoop/slaves hduser@h03:/usr/local/hadoop/etc/hadoop/ scp /usr/local/hadoop/etc/hadoop/slaves hduser@h04:/usr/local/hadoop/etc/hadoop/ scp /usr/local/hadoop/etc/hadoop/slaves hduser@h05:/usr/local/hadoop/etc/hadoop/ ``` 10. 启动Hadoop集群。 ``` cd /usr/local/hadoop/sbin ./start-dfs.sh ./start-yarn.sh ``` 11. 熟悉HDFS上传，下载，查看文件等操作。 上传文件到HDFS： ``` hdfs dfs -mkdir /input hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml /input ``` 下载文件到本地： ``` hdfs dfs -get /input/*.xml /usr/local/hadoop/etc/hadoop/ ``` 查看文件： ``` hdfs dfs -ls /input ``` 12. 运行内置WordCount例子。 ``` hdfs dfs -mkdir /output hdfs dfs -put /usr/local/hadoop/LICENSE.txt /input hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /input /output hdfs dfs -cat /output/part-r-00000 ``` 以上是在Docker容器中安装并配置Hadoop以及启动Hadoop集群的步骤，希望能帮到你！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值