1.3.1搭建Hadoop前的准备

总目录：https://blog.csdn.net/qq_41106844/article/details/105553392

Hadoop - 子目录：https://blog.csdn.net/qq_41106844/article/details/105553369

 

硬件环境设置

参数列表：

虚拟机一：192.168.110.220   主机名：master

虚拟机二：192.168.110.221   主机名：slave1

虚拟机三：192.168.110.222   主机名：slave2

 

虚拟机网卡设置：

 

VM8网卡配置

 

虚拟网络编辑器

 

NAT设置

网络配置（三台）

修改网络文件

vi /etc/sysconfig/network-scripts/ifcfg-ens33

 

master网卡配置

 

slave1网卡配置

 

slave2网卡配置

ps:三台虚拟机这时已经可以相互ping通。

修改主机名

vi /etc/hostname

将

localhost.localdomain

分别修改为：

master

slave1

slave2

修改hosts表

vi /etc/hosts

三台都要添加。

 

添加路由表

重启网卡

systemctl restart network

设置防火墙开机关闭

systemctl disable firewalld

三台虚拟机重启网卡后，关于网络方面配置结束。

SSH免密（三台）

在配置免密前，需要建立用于管理Hadoop与后续组件的用户（三台虚拟机都需要进行）：

新建用户

useradd hadoop

修改密码

passwd hadoop

修改sudo文件

visudo

切换到hadoop用户

su hadoop

之后一切操作使用hadoop用户来隔绝权限

修改地方如下图所示：

 

在root这一行下添加hadoop的配置  

这里配置的意思大致是：

允许XX用户执行任意路径下的任意命令

 

正式开始配置ssh免密登录：

生成密钥（不提示直接生成密钥）

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

将公钥放到公钥池

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

修改文件权限

chmod 600 ~/.ssh/authorized_keys

之后就可以将公钥传输到想要免密登录的主机的公钥池内。

我们只做master免密登陆slave1/2

 

建立ssh密钥

传输命令

scp ~/.ssh/id_rsa.pub hadoop@slave1:/tmp/authorized_keyset

写入文件

cat /tmp/authorized_keyset >> ~/.ssh/authorized_keys

 

将公钥传输给slave1

同理传输到slave2。

之后在slave1和slave2内将master传输过来的公钥放到自己的公钥池内。

 

 

将公钥放到自己的公钥池（在slave1内做的操作）  

slave2同理。

 

之后无需密码就可以进行登录。

 

master免密登录slave1

JDK配置（只在master）

在进行配置之前，我们在/usr目录下新建目录hdk（记得修改所属用户），用来存放hadoop相关配置软件。

下载jdk1.8（linux版）

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

修改所属用户

chown -R hadoop /usr/hdk

之后通过xftp传输到虚拟机内。

 

传输jdk源码

 

解压jdk

tar -zxvf jdk-1.8.tar.gz

重命名

mv jdk1.8.0_11/ jdk

添加环境变量

vi ~/.bash_profile

添加语句

JAVA_HOME=/usr/hdk/jdk 

PATH=$PATH:$JAVA_HOME/bin 

export JAVA_HOME    

export PATH 

刷新环境变量

source ~/.bash_profile 

检验java是否安装成功

java -version

输出为：

java version "1.8.0_11"

Java(TM) SE Runtime Environment (build 1.8.0_11-b12)

Java HotSpot(TM) 64-Bit Server VM (build 25.11-b03, mixed mode)

这时表示jdk配置成功

 

解压jdk源码

 

用户环境变量文件配置  

环境变量配置也可以配置系统环境变量文件  /etc/profile

 

 

查看java版本