hadoop集群搭建day1

1. 克隆虚拟机

创建的虚拟机注意事项:

磁盘分区的时候创建自定义布局，这里要注意都是标准分区。boot分200M，swap形态分区给2G，剩下的全都给硬盘。

vmnet8地址 192.168.140

所以 虚拟机映射 

vim  /etc/hosts

192.168.140.101  hadoop101

192.168.140.102  hadoop102

192.168.140.103  hadoop103

192.168.140.104  hadoop104

192.168.140.105  hadoop105

2.修改克隆虚拟机的静态IP

vim /etc/sysconfig/network 以hadoop102举例

NETWORKING=yes

HOSTNAME=hadoop102

 

接着 vim  /etc/udev/rules.d/70-persistent-net.rules

然后dd删除第一个配置的eth0 然后把第二个eth1改成eth0

第二个ATTR复制下来

接着vim  /etc/sysconfig/network-scripts/ifcfg-eth0

把HWADDR换成之前复制的  

ONBOOT=yes

NM_CONTROLLED=yes

BOOTPROTO=static

 

IPADDR=192.168.140.102

GATEWAY=192.168.140.2

DNS1=192.168.140.2

 

完成配置后

 

#关闭防火墙

service iptables stop

chkconfig iptables off

chkconfig --list iptables

如果所有的防火墙都关闭则成功了

然后重启ifconfig查看ip  再ping www.biadu.com

如果可以ping通则静态ip已经成功了

然后hadoop103 104重复上诉操作

 

3.

 

(1)在/opt目录下创建文件夹

sudo mkdir module
sudo mkdir software

(2)修改module、software文件夹的所有者cd

sudo chown hadoop100:hadoop100 module/ software/

4.安装JDK

sftp把安装包导入到software/  

 tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

配置JDK环境变量

pwd获取jdk路径

/opt/module/jdk1.8.0_144

sudo vi /etc/profile

在profile文件末尾添加JDK路径

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin

让修改后的文件生效

source /etc/profile

java -version查看jdk是否安装成功

5.安装hadoop

进入到Hadoop安装包路径下

[atguigu@hadoop101 ~]$ cd /opt/software/

   解压安装文件到/opt/module下面

 tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

查看是否解压成功

ls /opt/module/

将Hadoop添加到环境变量

获取Hadoop安装路径

 pwd

打开/etc/profile文件

 sudo vi /etc/profile

在profile文件末尾添加JDK路径：

##HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

保存后退出

让修改后的文件生效  source /etc/profile

 测试是否安装成功 hadoop version

6.编写集群分发脚本

在hadoop102中  /etc/profile文件拷贝到hadoop103的/etc/profile  sudo scp /etc/profile root@hadoop103:/etc/profile

创建bin目录，并在bin目录下xsync创建文件，文件内容如下：

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=103; host<105; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done

7.配置集群

（1）核心配置文件

配置core-site.xml

[atguigu@hadoop102 hadoop]$ vi core-site.xml

在该文件中编写如下配置

<!-- 指定HDFS中NameNode的地址 -->

<property>

<name>fs.defaultFS</name>

      <value>hdfs://hadoop102:9000</value>

</property>

 

<!-- 指定Hadoop运行时产生文件的存储目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/module/hadoop-2.7.2/data/tmp</value>

</property>

（2）HDFS配置文件

配置hadoop-env.sh

[atguigu@hadoop102 hadoop]$ vi hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

配置hdfs-site.xml

[atguigu@hadoop102 hadoop]$ vi hdfs-site.xml

在该文件中编写如下配置

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

 

<!-- 指定Hadoop辅助名称节点主机配置 -->

<property>

      <name>dfs.namenode.secondary.http-address</name>

      <value>hadoop104:50090</value>

</property>

（3）YARN配置文件

配置yarn-env.sh

[atguigu@hadoop102 hadoop]$ vi yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

配置yarn-site.xml

[atguigu@hadoop102 hadoop]$ vi yarn-site.xml

在该文件中增加如下配置

<!-- Reducer获取数据的方式 -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

 

<!-- 指定YARN的ResourceManager的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop103</value>

</property>

（4）MapReduce配置文件

配置mapred-env.sh

[atguigu@hadoop102 hadoop]$ vi mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

配置mapred-site.xml

[atguigu@hadoop102 hadoop]$ cp mapred-site.xml.template mapred-site.xml

 

[atguigu@hadoop102 hadoop]$ vi mapred-site.xml

在该文件中增加如下配置

<!-- 指定MR运行在Yarn上 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

在hadoop103 104创建module 然后进行如下操作

8.SSH无密登录配置

然后在hadoop103重复上诉操作

8.群起集群

1. 配置slaves

/opt/module/hadoop-2.7.2/etc/hadoop/slaves

[atguigu@hadoop102 hadoop]$ vi slaves

在该文件中增加如下内容：

hadoop102

hadoop103

hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

同步所有节点配置文件

[atguigu@hadoop102 hadoop]$ xsync slaves

2. 启动集群

（1）如果集群是第一次启动，需要格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/hdfs namenode -format

（2）启动HDFS

[atguigu@hadoop102 hadoop-2.7.2]$ bin/start-dfs.sh

[atguigu@hadoop102 hadoop-2.7.2]$ jps

4166 NameNode

4482 Jps

4263 DataNode

[atguigu@hadoop103 hadoop-2.7.2]$ jps

3218 DataNode

3288 Jps

[atguigu@hadoop104 hadoop-2.7.2]$ jps

3221 DataNode

3283 SecondaryNameNode

3364 Jps

（3）启动YARN

[atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。

10.遇到的问题

这个问题由于改module/权限时没有递归改

解决办法:

进入opt 然后 sudo chown hadoop100:hadoop100 module/

可以重新启动一下虚拟机 然后重新打开HDFS 和YARN