Hadoop集群中,HDFS格式化后,启动dfs报错解决方法。

12 篇文章 0 订阅
5 篇文章 0 订阅

问题描述:

Starting namenodes on [hadoop01]
ERROR: Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
Starting secondary namenodes [hadoop02]
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.

访问路径:

cd /erport/servers/hadoop-3.3.1/sbin

修改start-dfs.sh,顶部添加下列参数:

vi start-dfs.sh
#!/usr/bin/env bash
HDFS_DATANODE_USER=root  
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root  
HDFS_SECONDARYNAMENODE_USER=root

修改stop-dfs.sh,顶部添加下列参数:

vi stop-dfs.sh
#!/usr/bin/env bash
HDFS_DATANODE_USER=root  
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root  
HDFS_SECONDARYNAMENODE_USER=root

修改start-yarn.sh,顶部添加下列参数:

vi start-yarn.sh
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

修改stop-yarn.sh,顶部添加下列参数:

vi stop-yarn.sh
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

效果展示:

start-dfs.sh
stop-dfs.sh
start-yarn.sh
stop-yarn.sh
start-all.sh
stop-all.sh

Hadoop集群搭建格式化HDFS的具体过程如下: 1. 打开终端或命令行界面,通过SSH登录到Hadoop集群的主节点上。 2. 确保Hadoop集群的所有节点都正常运行,并且网络连接正常。 3. 进入Hadoop的安装目录,通常为`/opt/hadoop/`或自定义的目录。 4. 找到`hadoop/bin`目录下的`hdfs`脚本文件,执行以下格式化命令: ``` ./hdfs namenode -format ``` 这将启动HDFS格式化过程。 5. 格式化过程会生成初始的文件系统元数据,同时会清空HDFS上的所有数据。在执行格式化命令时,系统会提示确认是否继续。输入`Y`或`yes`确认继续。 6. 格式化过程可能需要一些时间,具体时间取决于Hadoop集群的规模和配置。期间可以观察终端输出,以了解格式化的进度和状态。 7. 格式化完成后,可以通过执行以下命令启动HDFS服务: ``` ./start-dfs.sh ``` 这将启动HDFS的各个组件,包括NameNode、Secondary NameNode和DataNode。 8. 可以通过执行以下命令验证HDFS的状态: ``` ./hdfs dfsadmin -report ``` 这将显示HDFS集群的状态信息,包括NameNode的活跃状态、DataNode的数量等。 完成上述步骤后,HDFS就已经成功格式化启动。可以通过执行一些HDFS相关的命令或运行示例程序,验证Hadoop集群的正常运行。 需要注意的是,格式化HDFS会清空HDFS上的所有数据,请确保在执行格式化命令之前进行备份,并确保确认操作无误。此外,格式化HDFS只需要在集群首次搭建或重新搭建时执行一次,后续的启动不需要再进行格式化操作。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

{浮屠}

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值