详细记录Hadoop安装（伪分布式配置）

1
切换到root用户操作，在安装Hadoop之前，首先确认安装好Java，java -version 查看版本号，cd /usr/lib/jvm转到Java jdk目录下查看Java版本，因为Hadoop运行需要Java，确保配置好环境变量。

2
编辑系统配置文件，输入命令进行环境变量的配置。

vim /etc/profile

3
进入编辑模式，光标定位到文件的底部，输入路径信息。

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk 
export JRE_HOME=$JAVA_HOME/jre 
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar:$JRE_HOME/lib

（注意自己的jdk安装目录）

4
输入命令使配置文件生效。

source /etc/profile

5
输入javac，查看是否配置成功。

6
运行xftp软件或其他传送软件，连接虚拟机，将windows下的hadoop的压缩包传到centos的/usr/local/hadoop-3.1.2文件下,进行解压操作。

tar -xzvf hadoop-3.1.2.tar.gz

7
安装完成后进入hadoop-3.1.2/etc/hadoop输入vim hadoop-env.sh配置 hadoop-env.sh文件，引入Java路径(自己的安装路径)。

exprot JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

8
进入Hadoop的bin目录下，输入./hadoop version，查看一下版本信息，出现版本号，至此单机模式安装完成。

9
下面进行伪分布式配置安装。

进入/hadoop-3.1.2/etc/hadoop/目录下输入vim core-site.xml修改配置文件 core-site.xml，修改如下。

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

10
输入vim hdfs-site.xml修改配置文件 hdfs-site.xml。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

11
进入 bin 目录，输入./hadoopn namenode-format进行格式化。

12
然后进入 sbin 目录，输入./start-all.sh，启动Hadoop所有节点。会出现以下错误，无法找分布式节点。

13
修改 start-dfs.sh 和 stop-dfs.sh，vim start-dfs.sh , vim stop-dfs.sh添加如下命令：

HDFS_DATANODE_USER=root 
HDFS_SECURE_DN_USER=hdfs 
HDFS_NAMENODE_USER=root 
HDFS_SECONDARYNAMENODE_USER=root

14
修改 start-yarn.sh 和 stop-yarn.sh，vim start-yarn.sh,vim stop-yarn.sh添加如下命令：

YARN_RESOURCEMANAGER_USER=root 
HADOOP_SECURE_DN_USER=yarn 
YARN_NODEMANAGER_USER=root

15
修改完成后，再输入./start-all.sh,启动节点。此时会存在 Permission denied。

16
修改 SSH 免密登陆： 输入命令 ssh-keygen，然后一直按回车键。

17
输入如下命令：ssh-copy-id -i ~/.ssh/id_rsa.pubroot@localhost
输入密码回车，完成后，再输入： ./start-all.sh启动节点。

18
输入命令 jps，查看运行进程，NameNode，DataNode已经启动；至此，伪分布式安装配置完成。

祝一切顺利！