Hadoop单节点及伪分布式文件系统的搭建

本文详细介绍了在RHEL7.3虚拟机环境下Hadoop单节点和伪分布式文件系统的搭建过程。首先,通过创建hadoop用户、解压安装包、配置环境变量和执行测试程序完成了单节点的搭建。接着,为了实现伪分布式,进行了本机免密配置,设置slave和master节点为本机,并初始化服务,最后开启服务并进行数据操作。
摘要由CSDN通过智能技术生成

实验环境:rhel7.3虚拟机

主机信息 实现功能
server1 hadoop
真机 测试

1.hapdoop单节点的搭建

hadoop单节点是在本地创建一个文件系统,与伪分布式文件系统的不同之处在于单节点在hadopp的专用目录下上传和下载,而伪分布式文件系统是在本地再搭建另一个文件系统,这个文件系统与hadoop的专用目录处于不同的目录,新建的文件系统与原本的文件系统构成了分布式文件系统,但由于同处于本地,所以被称为伪分布式文件系统。
单节点适用于测试和开发。

1.创建hadoop用户

将hadoop相关安装包都放在hadoop用户家目录下,并将安装包的所属用户和组改为hadoop

[root@server1 ~]# useradd hadoop
[root@server1 ~]# passwd hadoop
Changing password for user hadoop.
New password: 
BAD PASSWORD: The password is shorter than 8 characters
Retype new password: 
passwd: all authentication tokens updated successfully.
[root@server1 ~]# id hadoop
uid=1001(hadoop) gid=1001(hadoop) groups=1001(hadoop)
[root@server1 ~]# ls
hadoop-2.10.0.tar.gz  jdk-8u121-linux-x64.rpm
[root@server1 ~]# mv * /home/hadoop/
[root@server1 ~]# su - hadoop
[hadoop@server1 ~]$ ls
hadoop-2.10.0.tar.gz  jdk-8u121-linux-x64.rpm
[root@server1 ~]# cd /home/hadoop/
[root@server1 hadoop]# chown hadoop.hadoop hadoop-2.10.0.tar.gz 
[root@server1 hadoop]# chown hadoop.hadoop jdk-8u121-linux-x64.rpm 
[root@server1 hadoop]# su - hadoop
Last login: Sun Dec 22 06:17:24 CST 2019 on pts/0
[hadoop@server1 ~]$ ls
hadoop-2.10.0.tar.gz  jdk-8u121-linux-x64.rpm
[hadoop@server1 ~]$ ll
total 546732
-r-------- 1 hadoop hadoop 392115733 Dec 22 06:14 hadoop-2.10.0.tar.gz
-rw-r--r-- 1 hadoop hadoop 167733100 Dec 22 06:13 jdk-8u121-linux-x64.rpm

在这里插入图片描述

2.解压压缩包

解压压缩包,并做软连接,安装jdk环境

[hadoop@server1 ~]$ tar zxf hadoop-2.10.0.tar.gz 
[hadoop@server1 ~]$ ls
hadoop-2.10.0         jdk-8u121-linux-x64.rpm
hadoop-2
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值