【Hadoop集群搭建】

1、 伪分布式

（1） 关闭防火墙
service iptables stop # 临时关闭防火墙，重启后失效
chkconfig iptables off # 永久关闭防火墙

（2） 配置主机名
#vim /etc/sysconfig/network # 修改hostname主机名，注意主机名不能有下划线！否则可能导致找不到主机、无法启动。
例如：NETWORKING=yes
HOSTNAME=hadoop01

（3） 配置hosts
#vim /etc/hosts # 指定主机名与ip对应关系
例如：IP地址 hadoop01

（4） 配置免密登录
#ssh-keygen # 生成公钥和私钥，存在/root/.ssh目录下
#ssh-copy-id [user]@[host] # 将生成的公钥发送到指定机器上，即可实现免密登录
#ssh [hostname] # 进行测试验证

（5） 安装JDK

（6） 安装Hadoop
#tar –zxvf [hadoop安装包]

（7） 配置Hadoop
a) 修改hadoop-env.sh

b) 修改core-site.xml

c) 修改hdfs-site.xml

d) 修改mapred-site.xml

e) 修改yarn-site.xml

f) 修改slaves
#配置hostname
g) 配置hadoop的环境变量
#vim /etc/profile
#export HADOOP_HOME=/home/park/work/hadoop-2.7.1/
#export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
重新加载profile使配置生效 source /etc/profile
环境变量配置完成，测试环境变量是否生效 echo $HADOOP_HOME
h) 重启linux
#reboot
i) 格式化namenode
#hadoop namenode -format
（8） 启动hadoop
#start-all.sh
#stop-all.sh # 关闭
（9） hdfs命令
#hadoop fs –mkdir /user # 创建目录
#hadoop fs –put test.txt /user # 上传文件
#hadoop fs –cat /user/test.txt # 查询文件
（10） 浏览器访问页面
http://[server_ip]:50070

注意：CentOS 7.0默认使用的是firewall作为防火墙
查看防火墙状态
firewall-cmd --state1

停止firewall
systemctl stop firewalld.service1

禁止firewall开机启动
systemctl disable firewalld.service

2、 完全分布式集群

（1） 配置原则
namenode 保存元数据，一般单独安装
zkfc(FailOverController) 联系namenode和zookeeper进程，必须和namenode一起安装
resourcemanager 负责整个系统的资源管理和分配，单独安装或者和namenode一起安装
datanode 保存数据的节点，单独安装
nodemanager 每个节点上的资源和任务管理器，一般和datanode一起安装
journalnode 同步元数据集群防止单节点故障，单独安装或者和datanode一起安装
zookeeper 负责集群协调包括namenode的选举，单独集群安装

（2） 分布部署（三台机器）
hadoop01 namenode、zkfc、resourcemanager、datanode、nodemanager、journalnode、zookeeper
hadoop02 namenode、zkfc、datanode、nodemanger、journalnode、zookeeper
hadoop03 datanode、nodemanager、journalnode、zookeeper

（3） 完全分布式配置
准备工作
a) 配置hots文件
b) 关闭防火墙
c) 配置ssh免密登录
d) 安装JDK
e) 安装zookeeper

Hadoop安装
a) 解压Hadoop
b) 配置hadoop-env.sh

c) 配置core-site.xml

d) 配置hdfs-site.xml

e) 配置mapred-site.xml

f) 配置yarn-site.xml

g) 配置slaves

h) 复制hadoop文件到另外两天机器
scp -r hadoop-2.7.1x root@linux02:/home/software
scp -r hadoop-2.7.1x root@linux03:/home/software
i) 配置环境变量
#vim /etc/profile
修改HADOOP_HOME

启动完全分布式Hadoop
a) 启动zookeeper
#zkServer.sh start # 启动所有zk节点
b) 启动jn集群
#hadoop-daemons.sh start journalnode # 在Active namenode节点运行
c) 格式化zk中hadoop相关znode信息（第一次启动时）
#hdfs zkfc –formatZK # 在Active namenode节点运行
d) 格式化namenode（第一次启动时）
#hdfs namenode –format # 在Active namenode节点运行
e) 启动namenode
#hadoop-daemon.sh start namenode #在Active namenode节点运行
#hdfs namenode –bootStrapStandby(第一次启动时) # 在standby namenode节点运行
#hadoop-daemon.sh start namenode # standby namenode节点上运行
f) 启动datanode
#hadoop-daemons.sh start datanode #在Active namenode节点运行
g) 启动zkfc
#hadoop-daemon.sh start zkfc # 在每个namenode节点上运行
h) 启动yarn
#start-yarn.sh

（4） 浏览器页面访问
验证高可用
namenode: http://linux01:50070 http://linux02:50070
yarn: http:// linux01:8088 http:// linux02:8088