Hadoop Day03~ HADOOP集群搭建

HADOOP集群搭建

（1） #安装lrzsz
yum -y install -y lrzsz
（2）#在home目录下创建 /hadoop/apps
mkdir -p /home/hadoop/apps
（3）#将windows中的两个文件传到linux虚拟机中。选中，拖拽到有变的linux就可了

1.集群简介

HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起
（1）HDFS集群：
负责海量数据的存储，集群中的角色主要有 NameNode / DataNode
（2）YARN集群：
负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager

2.服务器准备

本案例使用虚拟机服务器来搭建HADOOP集群，所用软件及版本：
 Vmware 11.0
 Centos 6.5 64bit

3.网络环境准备

 采用NAT方式联网
 网关地址：192.168.91.2
 3个服务器节点IP地址：192.168.91.107、192.168.91.108、192.168.91.109
 子网掩码：255.255.255.0

4.服务器系统设置

 设置主机名
 hdp01
 hdp02
 hdp03
 配置内网域名映射：
 192.168.91.107 hdp01
 192.168.91.108 hdp02
 192.168.91.109 hdp03
 配置host文件
[root@node01 hadoop]# vi /etc/hosts

添加
192.168.91.107 hdp01
192.168.91.108 hdp02
192.168.91.109 hdp03

 配置ssh免密登陆
[root@hdp01 hadoop]# ssh-keygen

将生成的秘钥发到hdp01、hdp02、hdp03上
[root@hdp01 hadoop]# ssh-copy-id hdp01
[root@hdp01 hadoop]# ssh-copy-id hdp02
[root@hdp01 hadoop]# ssh-copy-id hdp02
在hdp01上测试一下，看一看能不能不输入密码，就能登录到hdp02、hdp03上

[root@hdp01 hadoop]# ssh hdp02

[root@hdp01 hadoop]# ssh hdp03

 查看防火墙
[root@hdp03 ~]# service iptables status

防火墙已经关闭

5. Jdk环境安装

解压jdk
[root@hdp01apps]#tar -zxvf jdk-8u181-linux-x64.tar.gz

配置环境变量
[root@hdp01 jdk1.8.0_181]# vi /etc/profile
export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_181
export PATH=$JAV{A}_{H}OME/bin:$PATH
保存退出。Shift+zz
[root@hdp01 jdk1.8.0_181]# vi /etc/profile
查看java是否存在
[root@hdp01 jdk1.8.0_181]# java -version

6 .HADOOP安装部署

 上传HADOOP安装包

Hadoop的安装包我们之前已经上传

 解压安装包
[root@hdp01 apps]# tar -zxvf hadoop-2.8.0.tar.gz
修改配置文件
[root@hdp01 hadoop]# vi /etc/profile
添加一下内容：
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.8.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[root@hdp01 hadoop]# source /etc/profile
[root@hdp01 hadoop]# hadoop version
 修改配置文件 /home/hadoop/apps/hadoop-2.8.0/etc/hadoop/
最简化配置如下：
[root@hdp01 hadoop]# cd /home/hadoop/apps/hadoop-2.8.0/etc/hadoop