阿里云上安装 hadoop

参考文章 http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/
http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/
https://blog.csdn.net/bqw18744018044/article/details/79103931

Hadoop 集群的安装配置大致为如下流程:
选定一台机器作为 Master
在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
在 Master 节点上安装 Hadoop，并完成配置
在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上
在 Master 节点上开启 Hadoop

1 创建hadoop用户
[root@hadoop ~]# useradd hadoop
[root@hadoop ~]# passwd hadoop
Changing password for user hadoop.
New password:
BAD PASSWORD: The password is a palindrome
Retype new password:
passwd: all authentication tokens updated successfully.
[root@hadoop ~]#

可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题，执行：
visudo
Shell 命令
如下图，找到 root ALL=(ALL) ALL 这行
然后在这行下面增加一行内容：hadoop ALL=(ALL) ALL （当中的间隔为tab），如下图所示：

添加上一行内容后，先按一下键盘上的 ESC 键，然后输入 :wq (输入冒号还有wq，这是vi/vim编辑器的保存方法)，再按回车键保存退出就可以了。

用hadoop登陆后
检查 ssh
rpm -qa | grep ssh
如果返回的结果如下图所示，包含了 SSH client 跟 SSH server，则不需要再安装。

配置主机之间的免密ssh登陆
注意： 登陆操作
在主机上：首先生成密钥对 利用 ssh-keygen (提示时，直接回车即可)
[root@hadoop ~]# ssh-keygen

再将主机自己的公钥拷贝并追加到从机的授权列表文件authorized_keys中
ssh-copy-id 1.1.1.1
图：
修改主机名：
sudo vim /etc/hostname
主机：Master
从机：Slave
然后执行如下命令修改自己所用节点的IP映射
sudo vim /etc/hosts

192.168.0.45 Master
192.168.0.46 Slave

各节点都如此配置.修改主机名和 修改ip映射

修改完成后需要重启一下，重启后在终端中才会看到机器名的变化

配置好后需要在各个节点上执行如下命令，测试是否相互 ping 得通，如果 ping 不通，后面就无法顺利配置成功：
ping Master -c 3 # 只ping 3次，否则要按 Ctrl+c 中断
ping Slave -c 3

配置PATH变量

Shell 命令
cd /usr/lib
sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件
cd ~ #进入linziyu用户的主目录
cd Downloads #注意区分大小写字母，刚才已经通过FTP软件把JDK安装包jdk-8u162-linux-x64.tar.gz上传到该目录下
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm #把JDK文件解压到/usr/lib/jvm目录下

JDK文件解压缩以后，可以执行如下命令到/usr/lib/jvm目录查看一下：

cd /usr/lib/jvm
ls
Shell 命令
可以看到，在/usr/lib/jvm目录下有个jdk1.8.0_162目录。
下面继续执行如下命令，设置环境变量：

cd ~
vim ~/.bashrc
Shell 命令
上面命令使用vim编辑器（查看vim编辑器使用方法）打开了这个用户的环境变量配置文件，请在这个文件的开头位置，添加如下几行内容：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

保存.bashrc文件并退出vim编辑器。然后，继续执行如下命令让.bashrc文件的配置立即生效：

source ~/.bashrc
Shell 命令
这时，可以使用如下命令查看是否安装成功：

java -version
Shell 命令
如果能够在屏幕上返回如下信息，则说明安装成功：
主机 从机都需要安装java 配置 配置PATH变量

安装 Hadoop 2
安装1：
我们选择将 Hadoop 安装至 /usr/local/ 中，用hadoop用户登录系统后，在命令行终端中，执行如下命令：
cd ~
sudo tar -zxf ~/Downloads/hadoop-2.7.1.tar.gz -C /usr/local
cd /usr/local/
sudo mv ./hadoop-2.7.1/ ./hadoop
sudo chown -R hadoop:hadoop ./hadoop

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

cd /usr/local/hadoop
./bin/hadoop version
安装2：
[root@Master Downloads]# cd ~
[root@Master ~]# vim /etc/profile
[root@Master ~]# source /etc/profile
[root@Master ~]# java -version

[root@Master ~]# cd ~
[root@Master ~]# sudo tar -zxf ~/Downloads/hadoop-2.7.1.tar.gz -C /usr/local
[root@Master ~]# cd /usr/local/
[root@Master local]# sudo mv ./hadoop-2.7.1/ ./hadoop
[root@Master local]# sudo chown -R root:root ./hadoop
[root@Master local]# cd /usr/local/hadoop
[root@Master hadoop]# ./bin/hadoop version
[root@Master hadoop]# vim /etc/profile
[root@Master hadoop]# source /etc/profile
[root@Master hadoop]# ./bin/hadoop version
[root@Master hadoop]# hdfs namenode -format
[root@Master hadoop]# cd sbin/
[root@Master sbin]# ./start-all.sh
[root@Master sbin]# jps

配置集群/分布式环境
集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的5个配置文件
仅设置了正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。


cd /usr/local/hadoop/etc/hadoop

1, 文件 slaves 只添加一行内容：Slave
vim slaves
2, 文件 core-site.xml 改为下面的配置：
vim core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

3, 文件 hdfs-site.xml，dfs.replication 一般设为 3，但我们只有一个 Slave 节点，所以 dfs.replication 的值还是设为 1：
vim hdfs-site.xml

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>Master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

4, 文件 mapred-site.xml （可能需要先重命名，默认文件名为 mapred-site.xml.template），然后配置修改如下：
vim mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>Master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>Master:19888</value>
        </property>
</configuration>

5, 文件 yarn-site.xml：
vim yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>Master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

配置好后，将 Master 上的 /usr/local/Hadoop 文件夹复制到各个节点上。
在 Master 节点上执行：
cd /usr/local
sudo rm -r ./hadoop/tmp # 删除 Hadoop 临时文件
sudo rm -r ./hadoop/logs/* # 删除日志文件
tar -zcf ~/hadoop.master.tar.gz ./hadoop # 先压缩再复制
cd ~
scp ./hadoop.master.tar.gz Slave:/home/hadoop
在 Slave 节点上执行：
sudo rm -r /usr/local/hadoop # 删掉旧的（如果存在）
sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
sudo chown -R hadoop /usr/local/hadoop

同样，如果有其他 Slave 节点，也要执行将 hadoop.master.tar.gz 传输到 Slave 节点、在 Slave 节点解压文件的操作
CentOS系统需要关闭防火墙
CentOS系统默认开启了防火墙，在开启 Hadoop 集群之前，需要关闭集群中每个节点的防火墙。有防火墙会导致 ping 得通但 telnet 端口不通，从而导致 DataNode 启动了，但 Live datanodes 为 0 的情况。

在 CentOS 6.x 中，可以通过如下命令关闭防火墙：

sudo service iptables stop # 关闭防火墙服务
sudo chkconfig iptables off # 禁止防火墙开机自启，就不用手动关闭了
Shell 命令
若用是 CentOS 7，需通过如下命令关闭（防火墙服务改成了 firewall）：

systemctl stop firewalld.service # 关闭firewall
systemctl disable firewalld.service # 禁止firewall开机启动

配置hadoop环境变量
sudo vim ~/.bashrc
在文件最后面增加如下内容：

# Hadoop Environment Variables
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

保存后，不要忘记执行如下命令使配置生效：
source ~/.bashrc

首次启动需要先在 Master 节点执行 NameNode 的格式化：
hdfs namenode -format # 首次运行需要执行初始化，之后不需要

成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。

接着可以启动 hadoop 了，启动需要在 Master 节点上进行：
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

通过命令 jps 可以查看各个节点所启动的进程。正确的话，在 Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程，如下图所示：