准备工作
1) 首先查看本机IP地址
ipconfig
记住自己本机的IP地址 在配置虚拟机师IP地址时避免重复
2) 查看虚拟机的网关和子网IP
打开VMware Workstation,依次点击编辑-->虚拟网络编辑器 出现以下界面,选中VMnet8 再点击NAT设置
![](https://i-blog.csdnimg.cn/blog_migrate/372155ffa72c842e365cf62866854cd5.png)
3)记住自己的这两个参数配置虚拟机IP时要用到
2.2 安装CentOS
[安装CentOS 6.8](https://jingyan.baidu.com/article/1e5468f978d376484961b7be.html)
VM,jdk(1.8)和CenOS6.8安装包
链接:https://pan.baidu.com/s/1VL04Iibobo2n3RH8zbfycQ 密码:se33
2.3 虚拟机网络模式设置为NAT
1)选中自己创建的虚拟机右击-->设置
2.4 克隆虚拟机
1)克隆虚拟机
选中自己创建的虚拟机右键-->管理-->克隆
等待克隆完成
2.5 修改ip、主机名和映射
我选中的是hadoop03这台虚拟机但是主机名是Hadoop02 这是因为hadoop103是从hadoop102拷贝过来的所以拷贝的两天虚拟机主机名和IP都需要修改,hadoop102只需要修改IP,现在我用hadoop103为例修改主机名和设置静态IP地址。
登陆进去后右击-->在终端中打开
在终端中输入 :vim /etc/udev/rules.d/70-persistent-net.rules
修改前:
修改后: 将NAME修改为eth0 将ATTR(address) 的值复制出来等会用于配置静态IP 保存退出(:wq)
在终端中输入 :vim /etc/sysconfig/network-scripts/ifcfg-eth0
1:将之前ATTR(address) 的值粘贴上去
2:将BOOTPROTO的值修改为static
3:添加之前查看的子网IP(192.168.1.0)下的IP(192.168.1.102 Ps:这是自己分配的 不要跟window系统IP一致)
4:填写之前查看的网购IP
5:填写之前查看的网关IP
修改完成后保存并退出
在终端中输入 让修改的配置生效 :service network restart
如果失败重启虚拟机(可以修改完主机名后在重启)
在终端中输入 :reboot
修改主机名: vim /etc/sysconfig/network
测试是否能上网: ping www.baidu.com(记得重启虚拟机)
配置主机名和IP的映射关系(根据自己需要多少配置 几个虚拟机中都需要配置)
在终端中输入:vi /etc/hosts(主机名和IP一定要对应好 )
2.6 关闭防火墙
查看防火墙开机启动状态
chkconfig iptables --list
关闭防火墙
chkconfig iptables off
(注意:每克隆一台虚拟机都要做2.5-2.6步骤)
2.7 安装jdk
进入/opt目录 :cd /opt
创建两个文件夹
mkdir module
mkdir software
用Xftp工具将jdk、Hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面
在linux系统下的opt目录中查看软件包是否导入成功
cd /opt/software/
ll
解压jdk到/opt/module目录下 :tar -zxvf jdk-8u151-linux-x64.tar.gz -C /opt/module/
开始配置jdk环境变量
cd /opt/module/jdk1.8.0_151/
pwd
记住jdk路径:/opt/module/jdk1.8.0_151 (最后粘贴在一个文档中)
打开/etc/profile文件配置jdk: cd /etc/profile
按一下A键进入编辑状态
在文件最后加上 :
#JAVA-HOME
export JAVA_HOME=/opt/module/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin
保存并退出
让修改后的文件生效:source /etc/profile
测试jdk是否安装成功 :java -version
如果java –version可以用就不用重启) 在终端输入
sync
reboot
2.8 安装Hadoop
进入到Hadoop安装包路径下 : cd /opt/software/
解压安装文件到/opt/module下面 :tar -zxf hadoop-2.7.2.tar.gz -C /opt/module/
查看是否解压成功
输入以下命令进入hadoop配置文件中配置hadoop中的hadoop-env.sh
cd /opt/module/hadoop-2.7.2/etc/hadoop
vim hadoop-env.sh
填上jdk的安装路径
保存并退出
将hadoop添加到环境变量
获取hadoop安装路径
cd /opt/module/hadoop-2.7.2/
pwd
记住这个路径:/opt/module/hadoop-2.7.2
打开/etc/profile文件:vi /etc/profile
在文件最后加上 :
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
保存并退出
让修改后的文件生效:source /etc/profile
测试hadoop环境是否配置成功 :hadoop
如果hadoop命令不能用再重启
sync
reboot
Hadoop运行模式
3.1 SSH无密码登录
进入到我的root目录(如何是普通用户请进入/home 目录下自己的目录)
生成公钥和私钥:ssh-keygen -t rsa
然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免密登录的目标机器上
ssh-copy-id 192.168.1.102
ssh-copy-id 192.168.1.103
ssh-copy-id 192.168.1.104
3.2 编写集群分发脚本xsync
在/usr/local/bin这个目录下存放的脚本,可以在系统任何地方直接执行。
cd /usr/local/bin
touch xsync
vi xsync
脚本内容如下:
#!/bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环
for((host=101; host<105; host++)); do
#echo $pdir/$fname $user@hadoop$host:$pdir
echo --------------- hadoop$host ----------------
rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done
保存并退出
修改脚本 xsync 具有执行权限 (r-4,w-2,x-1)
chmod 777 xsync
3.3编写分发脚本xcall
在/usr/local/bin目录下创建xcall文件 ,文件内容如下 :
#!/bin/bash
pcount=$#
if((pcount==0));then
echo no args;
exit;
fi
echo -------------localhost----------
$@
for((host=101; host<=108; host++)); do
echo ---------hadoop$host---------
ssh Hadoop$host $@
done
修改脚本 xcall 具有执行权限
chmod 777 xcall
3.4配置集群
( 最后一个是hadoop104)
hadoop102 | hadoop103 | ||
---|---|---|---|
HDFS | NameNode DataNode | DataNode | SecondaryNameNode DataNode |
YARN | ResourceManager NodeManager | NodeManager | NodeManager |
修改配置文件
这些配置文件所在目录:/opt/module/hadoop-2.7.2/etc/hadoop
(1)core-site.xml(文件名)
添加以下内容:
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
(2)Hdfs
hadoop-env.sh(文件名)
添加以下内容:
export JAVA_HOME=/opt/module/jdk1.7.0_79
hdfs-site.xml (文件名)
添加以下内容:
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:50090</value>
</property>
</configuration>
slaves (文件名)
添加以下内容:
hadoop102
hadoop103
hadoop104
(3)配置yarn
yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_151
yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop102</value>
</property>
</configuration>
(4)配置mapreduce
mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_151
mapred-site.xml
<configuration>
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
在集群上分发以上所有文件
cd /opt/module/hadoop-2.7.2/etc/hadoop
xsync /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml
xsync /opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml
xsync /opt/module/hadoop-2.7.2/etc/hadoop/slaves
3.5集群启动及测试
如果集群是第一次启动,需要格式化namenode(在/opt/module/hadoop-2.7.2下输入)
bin/hdfs namenode -format
启动HDFS: start-dfs.sh
启动yarn :start-yarn.sh
集群搭建成功
wordcount例子运行
在集群上创建一个文件夹:
hadoop fs -mkdir -p /user/test/input
创建一个输入文件 :vi input.txt
上传文件致集群:
hadoop fs -put input.txt /user/test/input
运行例子
hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/test/input /user/test/out
下载结果: hadoop fs -get /user/test/out/part-r-00000
(由于本人也不是一次就搭建成功在这个过程中也多次出现错误,如果此文中存在错误欢迎留言指正,以及你在照此外搭建过程中出现错误也可以留言讨论)