Hadoop伪分布式部署

前言： 这一块的部署太难了，虽然有大师提前指点，提前帮我避开一些坑，但在部署过程中还是很多意想不到的情况，现在就先描述一下本人的安装过程。

1 安装JDK

scp ~/jdk-8u231-linux-x64.tar.gz  *****@*****:~/jar/   //将下载好的JDK复制到服务器上
sudo vim /etc/profile.d/java-path.sh   //配置java的路径

#!/bin/bash
#author:wujiashun
export JAVA_HOME=/opt/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source /etc/profile  //使配置的路径生效

****@****:~/jar$ java -version   //查看Java是否安装成功

java version "1.8.0_231"
Java(TM) SE Runtime Environment (build 1.8.0_231-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.231-b11, mixed mode)    //出现这三行代表安装成功

2.安装 ssh pdsh

这一块目前我也不知道原理，就先安装上

$ sudo apt update
$ sudo apt install ssh
$ sudo apt install pdsh

sudo vim /etc/pdsh/rcmd_default

ssh  //将这一句添加到打开的文件里

3. 下载hadoop最新版

scp ~/hadoop-3.2.1.tar.gz  ***@*****:~/jar/       //将下载好的hadoop安装包上传到服务器

tar -zxf hadoop-3.2.1.tar.gz    //解压hadoop安装包

sudo mv hadoop-3.2.1 /opt/hadoop    //移动Hadoop安装包

4. 免密登录

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

ssh localhost    //设置成功后验证一下

5. 开始部署

5.1 修改配置文件
（1）修改hadoop-env.sh内容

vim /opt/hadoop/etc/hadoop/hadoop-env.sh

JAVA_HOME=/opt/java

（2）修改core-site.xml内容

vim /opt/hadoop/etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改hdfs-site.xml内容

vim /opt/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

5.2 格式化namenode(只需执行一次)

 $ bin/hdfs namenode -format

5.3 启动NameNode和DataNode

$ sbin/start-dfs.sh

5.4 查看

jps

http://localhost:9870/

http://虚拟机ip:9870/

6.部署yarn

6.1 修改配置文件

vim /opt/hadoop/etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

vim /opt/hadoop/etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

6.2 开始yarn

$ sbin/start-yarn.sh

6.3 查看

jps

http://localhost:8088/

http://虚拟机ip:8088/

7.关闭hadoop

这一块工作时千万不要执行

$ sbin/stop-dfs.sh
$ sbin/stop-yarn.sh