手把手教学伪分布式

搭建伪分布式实验环境

          1.完成Linux系统安装的VMware虚拟机

          2.Hadoop3.0以上版本的安装压缩包

          3.jdk1.8版本的环境安装包

虚拟机搭建准备工作

   安全设置

    关闭防火墙

#查看防火墙状态
firewall-cmd --state
#关闭防火墙
systemctl stop firewalld.service
#设置关闭防火墙开机自启动
systemctl disable firewalld.service

关闭selinux

[root@localhost ~]# vi /etc/selinux/config

将SELINUX属性的值改为disabled

IP设置
    查看主机IP

[root@localhost ~]# ip a
假设ip为192.168.10.10

    修改主机名

[root@localhost ~]# vi /etc/hostname 
master

    修改IP与主机映射

[root@localhost ~]# vi /etc/hosts
192.168.10.10   master

  SSH免密登录

1. [root@localhost ~]# ssh-keygen -t rsa # 生产密钥
2. # 连续三次回车
3. # 将密钥发送给需要登陆本机的机器，这里只有一台机器 所以发给自己
4. [root@localhost ~]# ssh-copy-id root@master
5. # 测试ssh
6. [root@localhost ~]# ssh root@master

Hadoop伪分布式搭建

   JDK配置

      安装包解压

[root@localhost ~]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt

 指定解压在/opt目录下

配置环境变量

[root@localhost jdk1.8.0_144]# vi /etc/profile

# 加入配置 加入位置如下图所示

export JAVA_HOME=/opt/install/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

 
# 保存后刷新环境变量
 

[root@localhost jdk1.8.0_144]# source /etc/profile

验证jdk是否配置成功

# 刷新完 执行命令验证JDK是否安装成功

[root@localhost ~]# java -version
java version "1.8.0_152"
Java(TM) SE Runtime Environment (build 1.8.0_152-b16)
Java HotSpot(TM) 64-Bit Server VM (build 25.152-b16, mixed mode)

   Hadoop配置

      安装包解压

[root@localhost ~]# tar -zxvf hadoop-3.1.3.tar.gz -C /home

解压至指定目录下
      修改配置文件
先cd到配置目录下

[root@localhost ~]# cd /home/hadoop-3.1.3/etc/hadoop

• hadoop.env文件
• vim hadoop-env.sh

1. 在文件中添加JAVA_HOME，值是JDK的安装路径
2. export JAVA_HOME=/home/software/jdk1.8
3. 保存退出，重新生效这个文件
4. source hadoop-env.sh

• core-site.xml文件

[root@localhost hadoop-3.1.3]# vim core-site.xml

#添加以下部分

<property>
    <name>fs.default.name</name>
    <value>hdfs://master:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop-3.1.3</value>
</property>

• hdfs-site.xml

1. [root@localhost hadoop-3.1.3]# vim hdfs-site.xml
2. #添加以下部分
3. <property>
4.     <name>dfs.replication</name>
5.     <value>1</value>
6. </property>

• mapred-site.xml

1. [root@localhost hadoop-3.1.3]# vim mapred-site.xml
2. #添加以下部分
3. <property>
4.     <name>mapreduce.framework.name</name>
5.     <value>yarn</value>
6. </property>

• yarn-site.xml

1. [root@localhost hadoop-3.1.3]# vim yarn-site.xml
2. #添加以下部分
3. <property>
4.     <name>yarn.resourcemanager.hostname</name>
5.     <value>master</value>
6. </property>
7. <property>
8.     <name>yarn.nodemanager.aux-services</name>
9.     <value>mapreduce_shuffle</value>
10. </property>

      配置Hadoop环境变量

[root@localhost hadoop-3.1.3]# vim /etc/profile
# 加入
export HADOOP_HOME=/home/software/hadoop-3.1.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

验证环境变量配置

# 刷新环境变量
[root@localhost hadoop-3.1.3]# source /etc/profile
hadoop -version 检查Hadoop是否配置成功

      

格式化namenode节点，启动hdfs，启动yarn

注意这里不能⽤root账号启动进程，需要在环境变量中配置

vim /etc/profile
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

 source /etc/profile

[root@localhost hadoop-3.1.3]# hadoop namenode -format 

start-dfs.sh

start-yarn.sh

JPS查看进程，测试Hadoop进程是否启动

[root@hadoop01 ~]# jps

4208 SecondaryNameNode

3858 DataNode

6340 NodeManager

3642 NameNode

6123 ResourceManager

6911 Jps

测试Hadoop环境搭建及WebUI界面查看

    通过web浏览器访问http://localhost:端口号

    端口号9870，访问HDFS

    端口号8088，访问YARN

访问HDFS

    访问YARN