hadoop集群的搭建

一、配置静态IP

1、设备的准备

①克隆三台虚拟机（完全克隆）

②第一台：内存4096MB，CPU1个2核，硬盘40G

③剩下两台内存1024，CPU1个2核，硬盘32G

2、配置静态IP

安装时网络连接截图

（1）命令

1>检查虚拟机网络是否与主机电脑网络连通：ping www.baidu.com
2>切换到root用户：su
3>查看网卡名称：ifconfig

4>修改ifcfg-ens33配置文件
①找到ifcfg-ens33文件：
cd /etc/sysconfig/network-scripts/

②备份配置文件：
cp ifcfg-ens33 ifcfg-ens33.bak

③修改配置文件：vim ifcfg-ens33

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static" #修改为static
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="51eb9410-c6bb-49c3-b260-c10feec4c8e4"
DEVICE="ens33"
ONBOOT="yes" #修改为yes
#新增
IPADDR="192.168.174.130" # 设置的静态IP地址
NETMASK="255.255.255.0" # 子网掩码
GATEWAY="192.168.42.2" # 网关地址
DNS1="192.168.174.2" #之前截图的DNS1

④重置静态IP：service network restart
⑤同理配置其他两台静态IP，并再次使用ping www.baidu.com检查网络是否与主机网络连接成功
⑥配置完成后：使用==ping ip地址（192.168.174.130）==检验
5>修改主机名：hostnamectl set-hostname 名称（三台都改）

6>添加映射：vi /etc/hosts

192.168.174.130 master
192.168.174.131 slave1
192.168.174.132 slave2

7>三台计算机配置完映射后：reboot重启虚拟机
8>使用ping 名称检查是否配置成功

二、ssh免密登陆

1.安装ssh

(1)查看ssh是否安装成功rpm -qa | grep ssh

(2)如果没有安装成功：
yum -y install openssh
yum -y install openssh-server
yum -yinstall openssh-clients
(3)修改sshd配置文件
— 修改原始文件内容的43内容去掉注释#（#PubkeyAuthentication yes）
—在43行上加一条：RSAAuthentication yes
—同理在其他两台虚拟机上也配置文件。最后保存
—使用：systemctl restart sshd.service #重启sshd服务
(4)切换到普通用户：cd ~ #~为家目录
—输入命令:== ssh-keygen -t rsa -P ‘’ == #生成公钥和私钥

—切换到ssh目录下：==cd .ssh ==#其中有两个目录is_rsa(私钥)和is_rsa.pub(公钥)
—复制公钥:cat id_rsa.pub >> authorized_keys
—修改密钥文件相关权限：chmod 0600 authorized_keys
—共享公钥：ssh-copy-id -i id_rsa.pub 用户名@第二台虚拟机的hostname

—第三台同理

三、安装jdk

1.切换root用户：su

2.进入usr目录下创建Java目录

cd /usr
mkdir java
cd java

3.解压jdk压缩包（jdk-8u191-linux-x64.tar.gz）

tar -zxvf /home/user/myfile/jdk-8u191-linux-x64.tar.gz

4.添加java环境变量

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_191
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

5.重启配置：source /etc/profile

6.检查jdk是否安装成功java -version

四、安装配置hadoop

1.切换到root用户：su

2.解压压缩包（hadoop-2.9.2.tar.gz）

①cd /usr/local
②tar -zxvf /home/user/myfile/hadoop-2.9.2.tar.gz
③将目录权限赋给user用户
chown -R user /usr/local/hadoop-2.9.2

配置hadoop（1）

①cd /etc/profile.d
②vim hadoop.sh

export HADOOP_HOME=/usr/local/hadoop-2.9.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH                                              

配置hadoop（2）hadoop-env.sh文件（2-9在普通用户下进行）

①切换普通用su
②cd /usr/local/hadoop-2.9.2/etc/hadoop
③vim hadoop-env.sh
在hadoop-env.sh文件是主要配置java安装路径JAVA_HOME，Hadoop日志文件储存路径HADOOP_LOG_DIR和HADOOP_SSH_OPTS等
补：如何在vim切换指定行：在esc点击后输入：gg+行数
1>第25行（gg+25）修改为：export JAVA_HOME=/usr/java/jdk1.8.0_191
2>第26行处添加：export HADOOP_SSH_OPTS=’-o StrictHostKeycChecking=no’
StrictHostKeycChecking用于控制目标主机尚未进行认证时：设置为no则可以直接登录，并且将目标主机的key加到~/.ssh/known_hosts文件中
3>第113行，==export HADOOP_PID_DIR=#{HADOOP_PID_DIR}==指定HDFS守护进程保存位置：export HADOOP_PID_DIR=${HADOOP_HOME}/pids