Hadoop3.2.1版本的环境搭建(伪分布式模式)

本文详细介绍了如何在单台机器上搭建Hadoop 3.2.1的伪分布式环境,包括创建Hadoop用户、配置权限、解压安装、修改配置文件如core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml。在配置过程中,提到了格式化HDFS、启动和关闭Hadoop的命令,以及遇到的权限问题和JAVA_HOME环境变量未设置的错误,并给出了相应的解决方案。
摘要由CSDN通过智能技术生成

Hadoop的安装包括3中模式:
(1)单机模式:只在一台机器上运行,存储采用本地文件系统,没有采用分布式文件系统HDFS。
(2)伪分布式模式:存储采用分布式文件系统HDFS,但是HDFS的节点和数据节点都在同一节点。
(2)分布式模式:存储采用分布式文件系统HDFS,而且HDFS的节点和数据节点位于不同机器上。

1 创建Hadoop用户

1.1 创建新用户

用户名为hadoopuser

[root@hadoop ~]# sudo adduser hadoopuser
[root@hadoop ~]# passwd hadoopuser
Changing password for user hadoopuser.
New password:
Retype new password:
passwd: all authentication tokens updated successfully.

1.2分配权限 设置Root(管理员)权限
1> 第一步:将用户加入管理权限组

  执行命令: usermod -a -G wheel hadoopuser

 2> 第二步,修改sudoers文件为可修改状态,如下:

      chmod -v u+w /etc/sudoers

 3> 第三步,修改sudoers文件,新增一行指令,使新用户和Root一样的权限,如下图所示:

      vim /etc/sudoers

      在 root    ALL=(ALL)       ALL 下       新增一行:hadoopuser    ALL=(ALL)       ALL

      注意:小细节:ypsroot  ALL=(ALL)    NOPASSWD:   ALL         可以让ypsroot账号在操作时不输入密码!(nopasswd:)

    wq保存即可;

    

     **在使用的时候,记住指令前面要加 sudo 

    上面我们修改sudoers文件为可修改,此时我们应该重新把它修改为只读模式:

 4> 执行如下命令: chmod -v u-w /etc/sudoers 

 

解压 hadoop-3.2.1.tar.gz

cd  /usr/local

tar   -zxvf   hadoop-3.2.1.tar.gz

查看hadoop版本号:hadoop version

伪分布式配置

在单个节点(一台机器上)以伪分布式的方式运行。

修改配置文件

cd    /usr/local/hadoop-

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值