王孬孬young的Hadoop集群搭建:)

王孬孬young的Hadoop集群搭建 ?

基于redhat的安装（所需安装包为：jdk1.8.0_121 hadoop-2.8.1 redhat镜像版本为rhel-server-7.3-x86_64-dvd.iso）此安装是在root目录下的安装
1 在安装Redhat时用图形化界面创建一个用户，名为hadoop。
2 用root身份进入后 打开终端 用vi编辑器打开 /etc/sudoers 后 找到root ALL=(ALL) ALL
在其下面加上 hadoop ALL=(ALL) ALL--------目的使Hadoop用户拥有root权限
3 用ifconfig查看机器的名字
4 用vi编辑器打开 /etc/sysconfig/network-scripts/ifcfg-ens33（ens33为机器名）
{注意： 最后末尾处添加的ip地址网段要和虚拟机中的网段保持一致，（Ip自定义但是不能超过255） 其中这两个中的第三位数字要和VMware Workstation中的网段一致，查看VMware Workstation中的网段：编辑 ->虚拟网络编辑器(如下图)}

打开文件后先修改网络配置文件，将BOOTPROTO值修改为”static”
然后在最后面加上以下网络配置后 按wq!保存退出

 IPADDR=192.168.205.140    注意：140是自己为电脑设置的IP地址 (自定义但是不能超过255)  205为我自己VM中的网段
 GATEWAY=192.168.205.2    
 NETMASK=255.255.255.0
 DNS1=101.226.4.6（如图所示）

5 运行 service network restart 重启网络服务，然后等待一分钟后

6 运行ping www.baidu.com 在虚拟机联网的情况下，测试网络配置是否成功
7 运行echo master > /etc/hostname -----修改主机名称为master
8 用vim编辑器打开 /etc/hosts后显示
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
在这个文件内添加以下三行 ，格式为 Ip地址 主机名 为了方便linux 系统之间进行通信

   192.168.205.140 master   注意： 205为我本机VMware Workstation中的网段
      192.168.205.141 slave1
      192.168.205.142 slave2

9 完成之后输入reboot重启
10 提前将Hadoop 和jdk下载到u盘里，方便以后使用
在vm右下角有DISK，设置其为连接。然后插上u盘。虚拟机会自动识别。然后把jdk和Hadoop直接解压缩
(tar -zxvf 文件名.tar.gz)到usr的soft下面（soft是自己创建的文件夹）
11 输入：cd /usr/soft/hadoop-2.8.1/etc/hadoop/
12 用vim编辑器打开hadoop-env.sh后找到# The java implementation to use.后将下面一行换为

export JAVA_HOME=/usr/soft/jdk1.8.0_121

13 用vim编辑器打开yarn-env.sh后找到# some Java parameters将
# export JAVA_HOME=/home/y/libexec/jdk1.6.0/下第一个if …fi换为

if
[ “$JAVA_HOME” != “” ]; then
#echo “run java in $JAVA_HOME”
JAVA_HOME=/usr/soft/jdk1.8.0_121
fi

14 用vim编辑器打开 slaves后 删除locallhsot 填入：slave1 slave2
15 用vim编辑器打开core-site.xml后在中插入以下内容：

fs.defaultFS hdfs://master:9000 hadoop.tmp.dir file:/usr/soft/hadoop-2.8.1/temp/

16 同理用vim编辑器打开hdfs-site.xml后在中插入以下内容

   <property>
             <name>dfs.namenode.secondary.http-address</name>
             <value> master:50090</value>
    </property>
    <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/soft/hadoop-2.8.1/dfs/name</value>
    </property>
    <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/soft/hadoop-2.8.1/dfs/data</value>
    </property>
    <property>
             <name>dfs.replication</name>
             <value>2</value>
    </property>
    <property>
             <name>dfs.webhdfs.enabled</name>
             <value>true</value>
   </property>

17 同理用vim编辑器mapred-site.xml打开后在中插入以下内容

mapreduce.framework.name yarn mapreduce.jobhistory.address master:10020 mapreduce.jobhistory.webapp.address master:19888

18 同理用vim编辑器打开yarn-site.xml后在中插入以下内容

 <property>                 
 <name>yarn.resourcemanager.hostname</name>
 <value>master</value>
 </property>         
 <property>
 <name>yarn.nodemanager.aux-services</name>                
  <value>mapreduce_shuffle</value> 
 </property> 

注：如果打开xml后发现里面什么都没有，为新建文件，退出vim编辑器后再次vi 文件.xml 按tab键完整显示文件名后再次进 入vim编辑器添加内容
19 在master节点(就是当前的Redhat)上创建以下文件夹

/usr/hadoop-2.8.1/dfs/name
/usr/hadoop-2.8.1/dfs/data
/usr/hadoop-2.8.1/temp

20 用vim编辑器打开 /etc/profile 在最后面加上

 export JAVA_HOME=/usr/soft/jdk1.8.0_121
 export PATH=$PATH:$JAVA_HOME/bin
 export HADOOP_HOME=/usr/soft/hadoop-2.8.1
 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

21 执行 source /etc/profile命令

克隆

将master 进行两次克隆。
第一次克隆的节点名为slave1
第二次克隆的节点名为slave2

1 用root用户登录后 修改克隆后的节点网络配置
在slave1 slave2中分别用vim编辑器打开 /etc/sysconfig/network-scripts/ifcfg-ens33
将slave1 中的IPADDR后面的改为192.168.205.141(slave1)
将slave2中的 IPADDR改为192.168.205.142(slave2)
分别service network restart----- 重启网络服务

2 分别修改克隆后的节点名称

   echo slave1 > /etc/hostname  
     echo slave2 > /etc/hostname

3 重启slave1与slave2

reboot

4 切换到master的root用户
打开终端 输入ssh localhost 遇到选择的时候输入y 要求输入root密码的时候记得输入密码

cd ~/.ssh/

ssh-keygen -t rsa 一路空格

cat id_rsa.pub >> authorized_keys

chmod 600 authorized_keys

5 切换到slave1与slave2的root用户,分别输入1.ssh localhost 2. cd ~/.ssh/ 3. ssh-keygen -t rsa
后使用cat id_rsa.pub命令 会分别显示slave1 slave2的密匙

6 再切换到master的root用户 用vim编辑器打开authorized_keys
复制slave1 slave2的密匙在authorized_keys保存退出后 在master里的root用户下运行

7 在master的root用户下运行 scp authorized_keys root@slave1:~/.ssh/ 后
运行scp authorized_keys root@slave2:~/.ssh/
8 在master下的root用户中 永久关闭防火墙 systemctl disable firewalld 这样重启后，防火墙不会自动启动。
另外，拓展一下
查看防火墙状态-------systemctl status firewalld
临时关闭防火墙命令。重启电脑后，防火墙自动启动------systemctl stop firewalld
打开防火墙命令----systemctl enable firewalld

9 在master中的root用户下运行
hdfs namenode -format【血泪教训!!!这个代码不要复制，要手打，复制会引起格式不对的问题，然后机器就凉凉了，请看 文章开头然后重装 (假装快乐.jpg)】
10 在master的root用户下运行 start-all.sh
11 在master的root用户下运行 jps后显示四行代码

12 在slave1 slave2 中运行jps 显示三行代码

恭喜恭喜啦~
Hadoop集群就成功搭建完成啦 yeah~~