Hadoop入门--集群搭建

1.集群简介

HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起
HDFS集群：
负责海量数据的存储，集群中的角色主要有 NameNode / DataNode
YARN集群：
负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager
(那mapreduce是什么呢？它其实是一个应用程序开发包)

本集群搭建案例，以5节点为例进行搭建，角色分配如下
hdp-node-01 NameNode SecondaryNameNode
hdp-node-02 ResourceManager
hdp-node-03 DataNode NodeManager
hdp-node-04 DataNode NodeManager
hdp-node-05 DataNode NodeManager

2.服务器准备

本案例使用虚拟机服务器来搭建HADOOP集群，所用软件及版本：
1.Vmware 11.0
2.Centos 6.5 64bit

3.网络环境准备

1.采用NAT方式联网
2.网关地址：192.168.33.1
3.3个服务器节点IP地址：192.168.33.101、192.168.33.102、192.168.33.103
4.子网掩码：255.255.255.0

4.服务器系统设置

1添加HADOOP用户
2.为HADOOP用户分配sudoer权限
3.同步时间
4.设置主机名
hdp-node-01
hdp-node-02
hdp-node-03
5.配置内网域名映射：
输入vim /etc/hosts指令然后编辑
192.168.33.101 hdp-node-01
192.168.33.102 hdp-node-02
192.168.33.103 hdp-node-03
6.配置ssh免密登陆
生成ssh免登陆密钥：
首先进入到我的home目录，
cd ~/.ssh
ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免密登陆的目标机器上
ssh-copy-id localhost
7.关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off

5.Jdk环境安装

1.上传jdk安装包(scp命令或者借助工具)
2.规划安装目录 /home/hadoop/apps/jdk_1.7.65
3.解压安装包： tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app
4.配置环境变量 ：
vim /etc/profile
在文件最后添加
export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
export PATH=$PATH:$JAVA_HOME/bin
刷新配置
source /etc/profile

6. HADOOP安装部署

1.上传HADOOP安装包
2.规划安装目录 /home/hadoop/apps/hadoop-2.6.1
3.解压安装包
4.修改配置文件 $HADOOP_HOME/etc/hadoop/
1） vi hadoop-env.sh
# The java implementation to use.
export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_51
2）vi core-site.xml


fs.defaultFS
hdfs://hdp-node-01:9000


hadoop.tmp.dir
/home/HADOOP/apps/hadoop-2.6.1/tmp


3）vi hdfs-site.xml


dfs.namenode.name.dir
/home/hadoop/data/name


dfs.datanode.data.dir
/home/hadoop/data/data


dfs.replication
3


dfs.secondary.http.address
hdp-node-01:50090


4）vi mapred-site.xml


mapreduce.framework.name</name
yarn


5）vi yarn-site.xml


yarn.resourcemanager.hostname
hadoop01


yarn.nodemanager.aux-services
mapreduce_shuffle


6）vi salves //子节点
hdp-node-01
hdp-node-02
hdp-node-03

7.启动集群

    1.格式化namenode（是对namenode进行初始化）
    bin/hadoop  namenode  -format
    2.启动HDFS
    sbin/start-dfs.sh
    3.启动YARN
    sbin/start-yarn.sh

8.验证集群是否启动

  可以输入jps，看NameNode、SecondaryNameNode、NodeManager、ResourceManager、 DataNode这些进程是否成功启动，如果有，则集群启动成功