阿里云服务器搭建Hadoop集群

一、环境介绍

服务器：一台阿里云服务器master，一台腾讯云服务器slave
操作系统：centOS7
Hadoop：hadoop-2.7.7.tar.gz
Java：jdk-8u172-linux-x64.tar.gz

二、修改hosts、hostname文件

2.1 修改hosts文件(/etc/hosts)
把原有的代码都注释掉
假如master是阿里云。则在阿里配置
其中 ip=阿里的内网ip；ip1=腾讯的外网ip;

ip master
ip1 slave1

在腾讯配置，其中 ip=阿里的外网ip；ip1=腾讯的内网ip。

ip master
ip1 slave1

2.2 修改hostname文件

[root@master ~]vim /etc/hostname

把原有的内容删掉
master的机器添加内容：master；slave机器添加内容slave
输入命令"reboot"重启下机器
验证一下：

[root@master ~]# hostname
master

[root@slave ~]# hostname
slave

三、ssh互信

3.1 每台机器都执行以下代码(执行过程只需要按回车)

[root@master .ssh]ssh-keygen -t rsa -P ''

执行完打开.ssh目录，会有以下三个文件

[root@master ~]# cd ~/.ssh
[root@master .ssh]# ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts

3.2 把每台机器的公钥(在id_rsa.pub内)都复制到每台机器的authorized_keys，意思就是每台机器要拥有其他任何机器的公钥。

在master敲：

[root@master src]ssh slave

可以检查是否互信成功

四、安装java(只需在master操作，配置后再发送到slave机器)

jdk下载：

[root@master src]wget http://download.oracle.com/otn-pub/java/jdk/8u171-b11/512cd62ec5174c3487ac17c61aaa89e8/jdk-8u171=2-linux-x64.tar.gz

4.1 解压jdk

[root@master src]# tar -zxvf jdk-8u172-linux-x64.tar.gz 

在这里我是解压到 /usr/local/src

4.2 修改 /etc/profile 文件，配置环境变量
在文件末端添加：

# SET JAVA_PATH
export JAVA_HOME=/usr/local/src/jdk1.8.0_172
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$P