Spark大数据实战之二：安装Hadoop

1、克隆并启动虚拟机

第1步、若master已开启，首先将其关闭

第2步、在左侧导航栏中，右键单击master客户机，选择“管理”-“克隆”选项，打开“克隆虚拟机向导”，单击下一步

第3步、配置克隆源

单击下一步

第4步、配置克隆类型

选择“创建完整克隆”，单击下一步

第5步、配置克隆出的虚拟机名称与位置

名称设置为slave1，存放地址默认

第6步、如法炮制，克隆出来虚拟机slave2，如下图

第7步、分别在每台虚拟机页面中单击“开启此虚拟机”，启动三台虚拟机

2、网络基本配置

第1步、配置三台虚拟机主机名称

首先在master节点上切换至root用户，密码为1234

$ su -root

然后打开 /etc/sysconfig/network：

$ gedit /etc/sysconfig/network

对文件进行如下配置：

NETWORKING=yes
HOSTNAME=master

使配置生效：

$ hostname master

在slave1和slave2上的root用户下进行同样的操作，分别将主机名改为slave1和slave2.

第2步，查看三台虚拟机IP地址

在master节点的控制终端上执行如下命令：

$ ifconfig

执行后如下图所示

第3步，关闭防火墙。

分别在master，slave1，slave2中执行下面操作

$ setup

然后选择如下图所示的操作

如果中括号中为[*]，则将 * 替换为空格，表示关闭防火墙，然后选择“确定”

第4步，配置hosts文件。

分别在master，slave1，slave2节点的root用户下配置hosts文件

$ gedit /etc/hosts

将以下代码添加到/etc/hosts文件中

192.168.149.132 master
192.168.149.133 slave1
192.168.149.134 slave2

注意：可能会出现如下情况：即在root用户下执行gedit报错
解决办法如下：切换回lala用户，然后输入“xhost +”，回车得到如下结果，此时就代表解除了控制。

切换回root用户，继续操作

第5步，配置时钟同步。在master，slave1，slave2节点的root用户下分别进行如下操作

crontab -e

---

简单时间同步，手动设置
root用户下：
date 092020112021.22 # 月、日、时、分、年 . 秒
/sbin/hwclock --systohc #锁定时间

3、安装JDK

分别在master、slave1、slave2节点的root用户下安装JDK，每个节点步骤如下：

第1步，下载正确版本JDK：

https://www.oracle.com/java/technologies/javase/javase7-archive-downloads.html#license-lightbox

因为linux火狐浏览器可能“安全连接受限”，我调了好久也没解决。因此建议该jdk可在本地下载，在虚拟机安装vmware tools，从windows直接拖拽到linux的Desktop。

第2步，解压JDK文件，并生成相应目录。

首先切换root用户，创建 /usr/java 目录。然后将 jdk-7u71-linux-x64.tar.gz 移动到该目录下并解压
注：移动函数mv需要识别完整路径，因此必须将jdk路径补充全，右键 jdk，查看属性得到完整真实路径：

开始移动+解压

su - root
password:lala
mv /home/lala/Desktop/jdk-7u71-linux-x64.tar.gz /usr/java/
cd /usr/java
tar -xvf jdk-7u71-linux-x64.tar.gz

第3步，配置环境变量

gedit /home/lala/.bash_profile

在.bash_profile文件中添加以下变量：

export JAVA_HOME=/usr/java/jdk1.7.0_71/
export PATH=$JAVA_HOME/bin:$PATH

使配置生效：

source /home/lala/.bash_profile

第4步，测试配置

java -version

4、免秘钥配置登录

在lala用户下进行如下操作：

第1步，master节点上通过下述命令生成密钥

ssh-keygen -t rsa

然后一路回车即可

生成的文件在/root/.ssh/路径下，切换到该路径，可以查看到

第2步，复制公钥文件

将其中的id_rsa.pub文件复制为authorized_keys文件，存在同级目录下

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

此时执行步骤5操作，可以免密码登录本机。可以输入以下命令验证。

ssh localhost

如果能够登录，即验证成功。

第3步，将authorized_keys文件复制到slave1、slave2节点上

scp ~/.ssh/id_rsa.pub root@slave1:/home/id_rsa.pub
scp ~/.ssh/id_rsa.pub root@slave2:/home/id_rsa.pub

第4步，在slave1、slave2节点上执行如下命令

cat /home/id_rsa.pub >> ~/.ssh/authorized_keys

第5步，更改权限

chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

第6步，验证免秘钥登录是否成功

在master节点上执行下述命令：

ssh slave1

除了第一次输入密码外，后续不需要输入密码，说明ok

免密登录可参考：https://www.cnblogs.com/leo2li/p/9341554.html