Hadoop单机伪分布式安装(完整版)

最新推荐文章于 2022-08-17 09:54:52 发布

祁酒仲

最新推荐文章于 2022-08-17 09:54:52 发布

阅读量5.7k

点赞数 4

文章标签： hadoop 分布式 hdfs

本文链接：https://blog.csdn.net/sun7_9/article/details/121220774

版权

在学习Hadoop时，我发现网上的各种安装的资料要不不全，要不前后不匹配（比如有的是伪分布式，有的是完全分布式）。此篇文章，我总结了身边的同学在安装Hadoop时遇到的毛病，在前面安装配置环节，尽可能使用最优化的处理方式，以便于我们后续hbase的安装和使用。

前言：我所使用的Hadoop版本为Hadoop 2.10.1，jdk版本为jdk1.8.0_112, hbase版本为hbase2.3.3。在版本选择时，你们可以选择与我不同的版本，但记得一定要考虑版本的兼容性。说不多说，我们开始进行Hadoop单机伪分布安装吧！

一、创建Hadoop用户并设置密码

[用户名@localhost ~] $ su root
[root@localhost 用户名] # useradd  –m  hadoop  –s  /bin/bash
[root@localhost 用户名] # passwd  hadoop

在这里插入图片描述

二、安装jdk

(1) 查看jdk版本

[root@localhost 用户名] # rpm –qa | grep  jdk

在这里插入图片描述

(2)删除原先自带的jdk

[root@localhost 用户名] # rpm  –qa | grep  –i  java | xargs  -n1  rpm  -e  --nodeps
[root@localhost 用户名] # rpm  –qa | grep  –i  java
[root@localhost 用户名] # reboot

在这里插入图片描述

(3)在/opt目录下分别新建modules和software目录。

建两个文件夹的原因是：software文件夹存放要解压的文件，modules文件夹存放解压之后的文件。

[root@localhost 用户名] # cd  /opt
[root@localhost opt] # mkdir  modules
[root@localhost opt] # mkdir  software

在这里插入图片描述

(4)将要用到的压缩包移到/opt/software文件夹下，解压缩jdk，并移动到modules目录下

[root@localhost software] # tar  –zxvf  jdk-8u112-linux –x64.tar.gz

在这里插入图片描述
查看一下jdk解压之后的版本，并将其移动到/opt/modules文件夹里

[root@localhost software] # mv  jdk1.8.0_112   /opt/modules

在这里插入图片描述

(5)配置Java环境变量

[root@localhost modules] # vi  /etc/profile

#要增加的内容：
export  JAVA_HOME=/opt/modules/jdk1.8.0_112
export  PATH=$JAVA_HOME/bin:$PATH

在这里插入图片描述

[root@localhost modules] # cat  /etc/profile

#添加了JAVA_HOME和PATH路径，用cat命令查看文件内容修改成功。

在这里插入图片描述

用source命令在当前bash环境下读取并执行/etc/profille中的命令，用java-version检查环境变量配置成功。

[root@localhost modules] # source  /etc/profile
[root@localhost modules] # java  -version

在这里插入图片描述

三、安装配置SSH

(1) 检查SSH是否安装

[root@localhost ~] # rpm  -qa| grep ssh

在这里插入图片描述

(2) 修改sshd配置文件

[root@localhost ~] # vim  /etc/ssh/sshd_config

在这里插入图片描述

以下图片是需要修改的地方

在这里插入图片描述

(3) 重启sshd服务

[root@localhost ~] # service sshd restart

在这里插入图片描述

(4) 生成公钥和私钥

[root@localhost ~] # ssh-keygen  -t rsa
[root@localhost ~] # cd .ssh
[root@localhost .ssh] # ls

在这里插入图片描述生成authorized_keys并查看

[root@localhost .ssh]# cat id_rsa.pub >> authorized_keys

修改密钥文件的相应权限

[root@localhost .ssh]# chmod 600 ./ authorized_keys

在这里插入图片描述

(5) 使用ssh localhost登录，测试是否可以免密登录

[root@localhost .ssh]# ssh localhost  (第一次免密登录，看是否成功)
[root@localhost .ssh]# ssh localhost  （第二次免密登录，测试是否稳定）
[root@localhost .ssh]# exit   （退出）

在这里插入图片描述

四、安装hadoop

(1)在software里解压Hadoop

[root@localhost ~]# cd /opt/software
[root@localhost software]# ls
[root@localhost software]# tar zxvf hadoop-2.10.1.tar.gz

在这里插入图片描述

解压之后的文件重命名为hadoop,以便于后续使用

[root@localhost software]# ls      (查看解压之后的结果)
[root@localhost software]# mv hadoop 2.10.1 hadoop      (解压包重命名为hadoop)
[root@localhost software]# mv hadoop /opt/modules      (将hadoop移动到modules文件夹内)

在这里插入图片描述

(2)为Hadoop用户赋予hadoop文件夹的权限

[root@localhost modules]# chown –R  hadoop  ./hadoop

(3)查看hadoop版本信息

[root@localhost modules]# ./hadoop/bin/hadoop version

在这里插入图片描述

五、Hadoop的伪分布式安装

(1)切换用户到hadoop用户，编辑~/.bashrc文件

[root@localhost modules]#  su hadoop
[hadoop@localhost modules]$ vim ~/.bashrc

在这里插入图片描述

#要增加的内容：
export HADOOP_HOME=/opt/modules/hadoop
export HADOO_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export JAVA_HOME=/opt/modules/jdk1.8.0_112

在这里插入图片描述
Source命令使文件配置生效。

[hadoop@localhost modules]$ source ~/.bashrc

在这里插入图片描述

(2)修改core-site.xml和hdfs-site.xml配置文件

在这里插入图片描述

[hadoop@localhost hadoop]$ vim ./etc/hadoop/core-site.xml

#要增加的内容：
<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/modules/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

在这里插入图片描述

[hadoop@localhost hadoop]$ vim ./etc/hadoop/hdfs-site.xml

#要增加的内容：
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/opt/modules/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/opt/modules/hadoop/tmp/dfs/data</value>
        </property>
        <property>
                <name>dfs.permissions.enabled</name>
                <value>false</value>
        </property>
</configuration>

在这里插入图片描述

(3)格式化namenode

[hadoop@localhost hadoop]$ ./bin/hdfs namenode -format

在这里插入图片描述

(4) 配置hadoop用户下的免密登录

1、在Hadoop用户下重启sshd服务

[hadoop@localhost hadoop]$ service sshd restart

在这里插入图片描述

2、生成公钥和私钥

[hadoop@localhost hadoop]$ ssh –keygen  -t rsa

在这里插入图片描述

3、生成authorized_keys并查看

[hadoop@localhost hadoop]$ cat id_rsa.pub >> authorized_keys

在这里插入图片描述

4、修改密钥文件的相应权限

[hadoop@localhost hadoop]$ chmod 600 ./ authorized_keys

在这里插入图片描述

此时Hadoop用户就可以实现免密登录了

六、启动hadoop

[hadoop@localhost hadoop]$ ./sbin/start-dfs.sh

在这里插入图片描述

七、关闭Hadoop

[hadoop@localhost hadoop]$ ./sbin/stop-dfs.sh

在这里插入图片描述

Hadoop单机伪分布式安装就这样完成了，安装成功的你是不是成就满满呢。如果这篇文章对你有帮助的话，欢迎一键三连，我们一起进步。

祁酒仲

关注

4
点赞
踩
19

收藏

觉得还不错? 一键收藏
3
评论
Hadoop单机伪分布式安装(完整版)

在学习Hadoop时，我发现网上的各种安装的资料要不不全，要不前后不匹配（比如有的是伪分布式，有的是完全分布式）。此篇文章，我总结了身边的同学在安装Hadoop时遇到的毛病，在前面安装配置环节，尽可能使用最优化的处理方式，以便于我们后续hbase的安装和使用。前言：我所使用的Hadoop版本为Hadoop 2.10.1，jdk版本为jdk1.8.0_112, hbase版本为hbase2.3.3。在版本选择时，你们可以选择与我不同的版本，但记得一定要考虑版本的兼容性。说不多说，我们开始进行Hadoop.
复制链接

扫一扫