Hadoop集群的搭建及配置

Linux静态网络的配置

1.打开虚拟机，检查服务是否正在运行

2.检查实体机的网卡设置与虚拟机的网卡配置是否一致

(1)选择编辑—虚拟网络编辑器—查询自己的子网是什么

（2）查询自己的网关是什么

（3 ）查询实体机的VMnet8默认动态ip

（3）设置虚拟机网卡的IP为静态ip

4.配置Linux系统的静态网络

（1)输入vi /etc/sysconfig/network-scripts/ifcfg-ens33

把BOOTPROTO后dycp改成static
ONBOOT的no改为yes
IPADDR=“192.168.184.128”
NETMASK=“255.255.255.0”
GATEWAY=“192.168.184.2”
DNS1=“8.8.8.8”
DNS2="111.111.111.111

(2)重启网络服务:sudo service network restart

（3)测试网络

输入 yum install vim -y 下载

jdk与Hadoop的安装配置

1.解压压缩包

tar –xzvf 带解压文件名 –C 目录路径
tar –czvf 目标压缩文件名 文件或目录

2.JDK的安装

（1）JDK压缩包

链接：https://pan.baidu.com/s/14L4PTonDSmxhIXIdJ-3CRw
提取码：uytc

（2）解压并安装

tar -xzvf jdk-8u161-linux-x64.tar.gz

3.JDK环境变量的配置

（1）输入vim .bash_profile命令修改内容jdk路径

export JAVA_HOME=/root/jdk1.8.0_161
export PATH=$ JAVA_HOME/bin:$PATH

（2）输入source .bash_profile

（3)输入java –version

若出现图中这样证明jdk安装配置成功

4.hadoop的安装

（1）Hadoop压缩包

链接：https://pan.baidu.com/s/1rONPrkg9DrrnnBzTLfyIxA
提取码：9ynb

（2）解压并安装

tar -xzvf hadoop-2.7.2.tar.gz

5.hadoop的环境变量配置

(1)输入vim Hadoop-env.sh

修改其中的JAVA_HOME=/root/jdk1.8.0_161

(2) 输入vim yarn-env.sh

修改其中的JAVA_HOME=/root/jdk1.8.0_161

(3)输入vim .bash_profile

添加：

export HADOOP_HOME=/root/hadoop-2.7.2
export PATH=:$ HADOOP_HOME/bin:$ HADOOP_HOME/sbin:$PATH

(4)输入source .bash_profile

(5) 验证Hadoop是否配置成功

SSH远程登录与免密登录

1.修改主机名

hostnamectl set-hostname +修改的主机名

reboot 重启

2.配置hosts

vi /etc/hosts

3.关闭防火墙

systemctl status firewalld 查看防火墙

systemctl disable firewalld 关闭防火墙

4.SSH远程登录配置

（1）安装并开启SSH登录

输入rpm -qa | grep ssh 查询是否已经安装SSH服务

输入ps -e | grep sshd 查询ssh服务是否启动

若是没有安装ssh，输入以下代码

yum install openssh-server

5.SSH免密登录配置

(1)生成SSH文件（公钥和私钥）

输入ssh-keygen -t rsa 三台虚拟机分别生成公钥和私钥

（2）拷贝3台机器的公钥到一台机器的某文件内，将该文件发送到每台机器上

ssh-copy-id a

ssh-copy-id a1

ssh-copy-id a2

（3）验证免密登录效果

Hadoop集群配置

1.vim core-site.xml修改文件

<property>
<name>fs.defaultFS</name>   FS指两台以上主机不建议使用。fs.default.name单节点
<value>hdfs://Master:9000</value>  Master是主机名也可以改成IP地址，9000端口
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>     临时文件设定指定位置
<description>Abase for other temporary directories.</description>
</property>  

2.vim hdfs-site.xml 修改文件

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>

3.vim maperd-site.xml.template framework有三种class、yarn、local 对文件mapred-site.xml重命名，默认文件名为mapred-site.xml.template，并更改mapred-site.xml配置

执行如下命令：
mv mapred-site.xml.template mapred-site.xml

4.vim mapred-site.xml 修改文件

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

5.vim yarn-site.xml 修改文件

<property>
<name>yarn.resourcemanager.hostname</name>
<value>Master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

6.hdfs namenode –format 格式化文件系统

7.hadoop启动start-all.sh （分两步start-dfs.sh start-yarn.sh）

8.集群启动跳转hadoop中用命令hadoop jar ~/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar pi 10 10

终止stop-all.sh （分两步 stop-yarn.sh stop-dfs.sh ）

在本地电脑上访问

网址：http://192.168.184.128:50070/

网址：http://192.168.184.128:8088/