3台服务架构
最近公司运维岗缺人,由于我也会一部分运维,领导让我去布一下生产环境,这边我整理了一下cdh版本的hadoop高可用集群的搭建,留给有需要的兄弟们使用
机器名 | 服务 | 作用 |
---|---|---|
hd01 | NameNode(主) | active状态名节点 |
DFSZKFailoverController | 故障自动转移 | |
JournalNode | Namenode数据同步 | |
DataNode | 数据节点 | |
NodeManager | 节点管理 | |
jobHistoryServer | 历史服务 | |
chronyd服务 | 时间同步 | |
zookeeper(QuorumPeerMain)/JDK | ZOOKEEPER | |
hd02 | NameNode(备) | 备份名节点 |
DFSZKFailoverController | 故障自动转移 | |
JournalNode | Namenode数据同步 | |
DataNode | 数据节点 | |
NodeManager | 节点管理 | |
ResourceManager(备) | 备份资源管理 | |
chronyd服务 | 时间同步 | |
zookeeper(QuorumPeerMain)/JDK | ZOOKEEPER | |
hd03 | JournalNode | Namenode数据同步 |
DataNode | 数据节点 | |
NodeManager | 节点管理 | |
ResourceManager(主) | 主资源管理进程 | |
chronyd服务 | 时间同步 | |
zookeeper(QuorumPeerMain)/JDK | ZOOKEEPER |
准备工作
- 安装3台centos7 服务器
- 配置名字hd01\hd02\hd03
- 配置网络static
- 关闭防火墙
- hd01可以访问hd02、hd03(同理其他都可互相访问)
#hd01 做ssh 公私钥 无秘
ssh-keygen -t rsa -P ''
# copy 公钥到 hd02 hd03
ssh-copy-id 192.168.192.201#hd02
ssh-copy-id 192.168.192.202#hd03
- 所有服务器时间同步
# 安装chrony
yum -y install chrony
#配置chrony
vi /etc/chrony.conf
server ntp1.aliyun.com
server ntp2.aliyun.com
server ntp3.aliyun.com
注释掉server 0.centos.pool.ntp.org iburst
#启动chrony
systemctl start chronyd
- 安装wget vim
yum install -y wget vim
- 安装psmisc(linux命令工具包 namenode主备切换时要用到 只需要安装在两个namenode节点上)
yum install -y psmisc
- 修改yum源(阿里云)
#备份
cd /etc/yum.repos.d/
mv CentOS-Base.repo CentOS-Base.repo_bak
#阿里云yum源
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum clean all
yum makecache
集群部署
- 安装JDK(3台,建议用scp命令或者xshell等工具自带的发送到所有窗口)
- 安装zookeeper集群(hd01,hd02,hd03)
cd /opt/soft/zk345/conf
cp zoo_sample.cfg zoo.cfg
#配置zoo.cfg
dataDir=/opt/soft/zk345/data
server.1=hd01:2888:3888
server.2=hd01:2888:3888
server.3=hd01:2888:3888
#在每个dataDir路径下建立一个myid文件(不同主机的数字同上,分别是123和上面的server后的数字对应一致)
mkdir -p /opt/soft/zk345/data
cd /opt/soft/zk345/data
echo "1"> myid
#启动集群
zkServer.sh start
- 安装hadoop集群
- 在单台上配置1个hadoop环境 创建文件夹
# 解压
tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/soft
cd /opt/soft
# 移动到自己的安装文件夹下
mv hadoop-2.6.0-cdh5.14.2 hadoop260
# 添加对应各个文件夹
mkdir -p /opt/soft/hadoop260/tmp
mkdir -p /opt/soft/hadoop260/dfs/journalnode_data
mkdir -p /opt/soft/hadoop260/dfs/edits
mkdir -p /opt/soft/hadoop260/dfs/datanode_data
mkdir -p /opt/soft/hadoop260/dfs/namenode_data
2. 配置hadoop-env.sh
#修改如下两参数,如有#在前面记得去掉
export JAVA_HOME=/opt/soft/jdk180
export HADOOP_CONF_DIR=/opt/soft/hadoop260/etc/hadoop
3. 配置core-site.xml
<!--指定hadoop集群在zookeeper上注册的节点名-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hacluster</value>
</property>
<!--指定hadoop运行时产生的临时文件-->
<property>
<name>hadoop.tmp.dir</name>
<value>file:///opt/soft/hadoop260/tmp</value>
</property>
<!--设置缓存大小 默认4KB-->
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<!--指定zookeeper的存放地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>hd01:2181,hd02:2181,hd03:2181</value>
</property>
<!--配置允许root代理访问主机节点-->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<!--配置该节点允许root用户所属的组-->
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
4. 配置hdfs-site.xml
<configuration>
<property>
<!--数据块默认大小128M-->
<name>dfs.block.size</name>
<value>134217728</value>
</property>
<property>
<!--副本数量 不配置默认为3-->
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<!--namenode节点数据(元数据)的存放位置-->
<name>dfs.name.dir</name>
<value>file:///opt/soft/hadoop260/dfs/namenode_data</value>
</property>
<property>
<!--datanode节点数据(元数据)的存放位置-->
<name>dfs.data.dir</name>
<value>file:///opt/soft/hadoop260/dfs/datanode_data</value>
</property>
<property>
<!--开启hdfs的webui界面-->
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<!--datanode上负责进行文件操作的线程数-->
<name>dfs.datanode.max.transfer.threads</name>
<value>4096</value>
</property>
<property>
<!--指定hadoop集群在zookeeper上的注册名-->
<name>dfs.nameservices</name>
<value>hacluster</value>
</property>
<property>
<!--hacluster集群下有两个namenode分别是nn1,nn2-->
<name>dfs.ha.namenodes.hacluster</name>
<value>nn1,nn2</value>
</property>
<!--nn1的rpc、servicepc和http通讯地址 -->
<property>
<name>dfs.namenode.rpc-address.hacluster.nn1</name>
<value>hd01:9000</value>
</property>
<property>
<name>dfs.namenode.servicepc-address.hacluster.nn1</name>
<value>hd01:53310</value>
</property>
<property>
<name>dfs.namenode.http-address.hacluster.nn1</name>
<value>hd01:50070</value>
</property>
<!--nn2的rpc、servicepc和http通讯地址 -->
<property>
<name>dfs.namenode.rpc-address.hacluster.nn2</name>
<value>hd02:9000</value>
</property>
<property>
<name>dfs.namenode.servicepc-address.hacluster.nn2</name>
<value>hd02:53310</value>
</property>
<property>
<name>dfs.namenode.http-address.hacluster.nn2</name>
<value>hd02:50070</value>
</property>
<property>
<!--指定Namenode的元数据在JournalNode上存放的位置-->
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hd01:8485;hd02:8485;hd03:8485/hacluster</value>
</property>
<property>
<!--指定JournalNode在本地磁盘的存储位置-->
<name>dfs.journalnode.edits.dir</name>
<value>/opt/soft/hadoop260/dfs/journalnode_data</value>
</property>
<property>
<!--指定namenode操作日志存储位置-->
<name>dfs.namenode.edits.dir</name>
<value>/opt/soft/hadoop260/dfs/edits</value>
</property>
<property>
<!--开启namenode故障转移自动切换-->
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<!--配置失败自动切换实现方式-->
<name>dfs.client.failover.proxy.provider.hacluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<!--配置隔离机制-->
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<!--配置隔离机制需要SSH免密登录-->
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<!--hdfs文件操作权限 false为不验证-->
<name>dfs.premissions</name>
<value>false</value>
</property>
</configuration>
5. 配置mapred-site.xml(将mapred-site.xml.template文件cp一下)
<configuration>
<property>
<!--指定mapreduce在yarn上运行-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<!--配置历史服务器地址-->
<name>mapreduce.jobhistory.address</name>
<value>hd01:10020</value>
</property>
<property>
<!--配置历史服务器webUI地址-->
<name>mapreduce.jobhistory.webapp.address</name>
<value>hd01:19888</value>
</property>
<property>
<!--开启uber模式-->
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>
</configuration>
6. 配置yarn-site.xml
<configuration>
<property>
<!--开启yarn高可用-->
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<!-- 指定Yarn集群在zookeeper上注册的节点名-->
<name>yarn.resourcemanager.cluster-id</name>
<value>hayarn</value>
</property>
<property>
<!--指定两个resourcemanager的名称-->
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<!--指定rm1的主机-->
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hd02</value>
</property>
<property>
<!--指定rm2的主机-->
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hd03</value>
</property>
<property>
<!--配置zookeeper的地址-->
<name>yarn.resourcemanager.zk-address</name>
<value>hd01:2181,hd02:2181,hd03:2181</value>
</property>
<property>
<!--开启yarn恢复机制-->
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<property>
<!--配置执行resourcemanager恢复机制实现类-->
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<property>
<!--指定主resourcemanager的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>hd03</value>
</property>
<property>
<!--nodemanager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<!--开启日志聚集功能-->
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<!--配置日志保留7天-->
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>
7. 配置slaves
hd01
hd02
hd03
防坑指南: 记得把localhost删掉,这边每一行最后直接换行,不能有任何回车
8. 分发安装包到hd02,hd03
scp -r /opt/soft/hadoop260 root@hd02:/opt/soft/
scp -r /opt/soft/hadoop260 root@hd03:/opt/soft/
9. 为3台节点配置hadoop环境变量(vi /etc/profile)
export HADOOP_HOME=/opt/soft/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
-
启动集群
1. 启动zookeeper(3个都启动)zkServer.sh start
2. 启动JournalNode(3个都启动)
hadoop-daemon.sh start journalnode
3. 格式化namenode(只在hd01主机上)
hdfs namenode -format
4. 将hd01上的Namenode的元数据复制到hd02相同位置
scp -r /opt/soft/hadoop260/dfs/namenode_data/current/ root@hd02:/opt/soft/hadoop260/dfs/namenode_data
5. 在hd01或hd02格式化故障转移控制器zkfc
hdfs zkfc -formatZK
6. 在hd01上启动dfs服务
start-dfs.sh
7. 在hd03上启动yarn服务
start-yarn.sh
8. 在hd01上启动history服务器
mr-jobhistory-daemon.sh start historyserver
9. 在hd02上启动resourcemanager服务
yarn-deamon.sh start resourcemanager
检查集群情况
- jps 上面服务不能缺少,如下图所示
- 查看状态
# 在hd01上查看服务状态
hdfs haadmin -getServiceState nn1 #active
hdfs haadmin -getServiceState nn2 #standby
# 在hd03上查看resourcemanager状态
yarn rmadmin -getServiceState rm1 #standby
yarn rmadmin -getServiceState rm2 #active
- 检查主备切换
# kill 掉Namenode主节点 查看Namenode standby节点状态
kill -9 namenode主节点进程
# 恢复后重新加入
hadoop-deamon.sh start namenode #启动后也只是standby节点
集群二次启动
#在hd01上启动dfs
start-dfs.sh
#在hd03上启动yarn
start-yarn.sh
#在hd02上启动resourcemanager
yarn-daemon.sh start resourcemanager