Hadoop集群环境搭建

Hadoop集群环境搭建

**

1安装centos7

**
hadoop平台需要运行在linux系统上。

设置虚机网络模式nat
可参考https://www.linuxidc.com/Linux/2017-12/149910.htm

Reboot重启进入系统
**

安装xshell

**
在Windows界面下访问远端不同的服务器，方便往服务器下载上传文件。
免费版安装下载：https://blog.csdn.net/han____shuai/article/details/81161795

**

虚拟机设置

**
启动虚拟机，
配置虚拟机
1、配置虚拟机网络

2、配置本地windows的Vmnet8网卡

**

设置主机ip

**

（1） 启用网卡设置固定ip vi /etc/sysconfig/network-scripts/ifcfg-ens33
Master:
BOOTPROTO=static
IPADDR=192.168.203.130
NETMASK=255.255.255.0
GATEWAY=192.168.203.255
DNS1=114.114.114.114
HWADDR=00:0c:29:12:08:80
ONBOOT=yes

systemctl stop NetworkManager
service network restart

Slave1:
vi /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO=static
IPADDR=192.168.203.131
NETMASK=255.255.255.0
GATEWAY=192.168.203.255
DNS1=114.114.114.114
HWADDR=00:0c:29:3d:c6:2a
ONBOOT=yes
systemctl stop NetworkManager
service network restart
echo “HWADDR=00:0c:29:9b:e7:51” >>/etc/sysconfig/network-scripts/ifcfg-ens33
Slave2:
vi /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO=static
IPADDR=192.168.203.133
NETMASK=255.255.255.0
GATEWAY=192.168.203.255
DNS1=114.114.114.114
HWADDR=00:0c:29:12:08:80
ONBOOT=yes
systemctl stop NetworkManager
service network restart

（2） ip addr查看当前主机ip
（3） xshell 连接主机
（4） xshell 安装 yum install -y lrzsz
（5） 克隆虚拟机,克隆两个节点slave1,slave2

设置网络模式

**

配置主从节点主机名称

**
hostnamectl set-hostname master
hostnamectl set-hostname slave1
hostnamectl set-hostname slave2
**

配置hosts列表

**
主从节点都需要配置
先配置master节点

命令：vi /etc/hostname
修改内容：
192.168.1.4 master
192.168.1.6 slave1
192.168.1.7 slave2

Slave 1,slave2节点直接使用scp命令覆盖文件即可
scp /etc/hosts slave1:/etc/
scp /etc/hosts slave2:/etc/
**

安装jdk

**

切换到root用户
mkdir /usr/java
cd /usr/java
tar -xvzf /usr/java/jdk-7u80-linux-i586.tar.gz

vi /etc/profile
#在文件底部加入下面一句
export JAVA_HOME=/usr/java/jdk1.7.0_80
export JRE_HOME=$JAV{A}_{H}OME/jreexportPATH=$PATH:$JAV{A}_{H}OME/bin:$JRE_HOME/bin
https://www.cnblogs.com/52lxl-top/p/9877202.html

执行javac 或者java -version看是否配置成功
若执行出现错误如下：

安装glibc
yum install glibc.i686
yum list installed |grep glibc
master节点配置完，配置slave1,slave2
**

免密登录配置

**
生成秘钥
Master节点执行
ssh -keygen -t rsa 一直按换行

ssh-copy-id root@192.168.1.7
ssh-copy-id root@192.168.1.6
测试免密登录
ssh slave1
ssh slave2

**

hadoop集群配置部署

**

安装Hadoop

使用rz命令上传hadoop安装包
tar -xvzf hadoop-2.6.0.tar.gz
配置环境变量
vi /home/zjw/hadoop-2.6.0/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_80

配置yarn的环境变量
vi /home/zjw/hadoop-2.6.0/etc/hadoop/yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_80

配置核心组件core-site.xml
配置集群中分布式文件系统的入口地址和分布式文件系统中数据落地到本地服务器的磁盘位置
Master slave节点都创建分布式文件磁盘落地到本地服务器的目录
mkdir /home/zjw/hadoopdata
然后配置core-site.xml
vi /home/zjw/hadoop-2.6.0/etc/hadoop/core-site.xml

配置文件系统hdfs-site.xml
vi /home/zjw/hadoop-2.6.0/etc/hadoop/hdfs-site.xml

配置文件系统hdfs-site.xml
vi /home/zjw/hadoop-2.6.0/etc/hadoop/hdfs-site.xml

配置slave
vi /home/zjw/hadoop-2.6.0/etc/hadoop/slaves
slave1
slave2
复制到从节点
scp -r /home/zjw/hadoop-2.6.0 zjw@slave:~/
scp -r /home/zjw/hadoop-2.6.0 zjw@slave1:~/
配置hadoop启动环境变量
主从节点配置hadoop的环境变量
vi /etc/profile
export HADOOP_HOME=/home/zjw/hadoop-2.6.0
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOO{P}_{H}OME/lib/nativeexportHADOO{P}_{O}PTS=-Djava.library.path=$HADOOP_HOME/lib
export PATH=$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin:$PATH
source /etc/profile

启动Hadoop集群

1格式化hdfs master节点执行/

格式化文件系统
hdfs namenode -format
启动hadoop集群 Master节点执行
start-all.sh
查看master进程jps

查看slave1和slave2进程

Webui查看集群是否启动成功
浏览器地址输入http://192.168.1.4:50070
若不能访问查看防火墙状态
firewall-cmd –state
systemctl stop firewalld.service 关闭防火墙
systemctl disable firewalld.service禁止防火墙开机启动

查看yarn是否正常http://192.168.1.4:18088

运行pi实例检查集群是否启动成功
cd /home/zjw/hadoop-2.6.0/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.6.0.jar pi 5 5

以上配置完成说明集群已正常运行。

Java接口
https://blog.csdn.net/liuzebin9/article/details/70171338
hadoop配置文件
https://www.cnblogs.com/xhy-shine/p/10530729.html