Hadoop 3.X 安装

第一步  准备环境

        准备安装环境。jdk1.8，hadoop3.X版 ， apt安装ssh ， apt安装pdsh

第二步  安装jdk

        1. 解压jdk  

         2. 执行命令：

update-alternatives --install /usr/bin/java java /usr/local/jdk1.8.0_201/bin/java 5000 

第三步  安装hadoop

         1. 解压hadoop压缩文件 

tar -zxvf /usr/local/hadoop-3.1.0.tar.gz -C /usr/local/

         2. 修改 /usr/local/hadoop-3.1.0/etc/hadoop/hadoop-env.sh 文件

设置jdk命名空间

设置访问用户

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

3. 修改 /usr/local/hadoop-3.1.0/etc/hadoop/core-site.xml 文件

伪集群模式

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

集群模式详情查看官方文档

4. 修改/usr/local/hadoop-3.1.0/etc/hadoop/hdfs-site.xml 文件

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

5. 生成谜钥免密码登录

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

6. 格式化namenode

bin/hdfs namenode -format

7. 启动

sbin/start-all.sh

如果报错：pdsh@xxx: localhost: connect: Connection refused

原因是pdsh默认采用的是rsh登录，修改成ssh登录即可，在环境变量/etc/profile里加入：

export PDSH_RCMD_TYPE=ssh
source /etc/profile

8. 启动hadoop web http://localhost:9870