四台kvm虚拟机搭建Hadoop HA集群

最新推荐文章于 2024-08-22 00:15:00 发布
最新推荐文章于 2024-08-22 00:15:00 发布
阅读量790 收藏 3
点赞数
分类专栏： java 文章标签： hadoop 大数据 hdfs java 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67393828/article/details/126565412
版权

一、前言

终于搭建了四台虚拟机，正式开始搭建Hadoop集群，目前是四台虚拟分别为：
node01(192.168.122.11),node02(192.168.122.12),node03(192.168.122.13),node04(192.168.122.14)

二、集群规划

规划搭建HDFS2.X HA:
角色划分如下:

节点

NN-1

NN-2

DN

ZK

ZKFC

JNN

RM

NM

node01

√

√

√

node02

√

√

√

√

√

√

node03

√

√

√

√

√

node04

√

√

√

√

三、搭建Hadoop HA集群

1.环境准备
  • 依赖软件 ssh ，jdk
  • 环境配置：
  1. ip地址配置（静态ip）
  2. hostname配置：修改/etc/hostname
  3. hosts映射配置：修改/etc/hosts
  4. 防火墙关闭：sudo ufw disable
  5. ssh免密登陆:
    四台虚拟机运行命令ssh-keygen -t rsa -P ""生成密钥后，将node02、node03、node04的生成的id_rsa.pub公钥文件拷贝到node01里 (sudo scp id_rsa.pub node02@node02:/root/.ssh/id_rsa.pub.node02),再将这些公钥追加到node01的authorized_keys（没有该文件新建一个）文件里，最后将生成的包含四个节点的秘钥的authorized_keys 复制到node02、node03、node04的.ssh目录下（sudo scp authorized_keys node01:node02:/home/node02/.ssh/）
  6. JAVA_HOME环境变量
  7. 虚拟机时间同步:
    ntpdate cn.pool.ntp.org
    hwclock --systohc
1. 安装zookeeper集群

先安装zookeeper集群是因为hadoop集群中需要配置zookeeper节点。

  • 下载安装包 zookeeper-3.4.6.tar.gz

  • 解压：tar -zxvf /opt/software/zookeeper-3.4.6.tar.gz -C home/hadoop/app/

  • 配置：
    cd /home/hadoop/app/zookeeper-3.4.6/conf/
    cp zoo_sample.cfg zoo.cfg
    vi zoo.cfg
    修改：dataDir=/home/hadoop/app/zookeeper-3.4.6/tmp
    在最后添加：
    server.1=node02:2888:3888
    server.2=node03:2888:3888
    server.3=node04:2888:3888
    保存退出
    然后创建一个tmp文件夹
    mkdir /home/hadoop/app/zookeeper-3.4.6/tmp
    echo 1 > /home/hadoop/app/zookeeper-3.4.6/tmp/myid

  • 将配置好的zookeeper拷贝到其他节点:
    首先分别在node03、node04目录下创建一个hadoop目录：
    sudo mkdir -p /home/hadoop/app
    修改文件夹用户：
    sudo chown node03:node03 /home/hadoop/app
    拷贝至node03、node04节点：
    scp -r /home/hadoop/app/zookeeper-3.4.6/node03@node03:/home/hadoop/app/
    scp -r /home/hadoop/app/zookeeper-3.4.6/node04@node04:/home/hadoop/app/

    注意:node03、node04对应/hadoop/zookeeper-3.4.6/tmp/myid内容
    node03：
    echo 2 > /home/hadoop/app/zookeeper-3.4.6/tmp/myid
    node04：
    echo 3 > /home/hadoop/app/zookeeper-3.4.6/tmp/myid

2. 安装Hadoop集群

  • 下载安装包：因为网速较慢，下载的是hadoop-2.7.6.tar.gz 附：hadoop安装包下载地址

  • 上传到虚拟机后解压：tar -zxvf hadoop-2.7.6.tar.gz -C /home/hadoop/app/

  • 配置相应环境变量
    (1) 配置HADOOP_HOME环境变量：修改/etc/profile
    export HADOOP_HOME=/home/hadoop/app/hadoop-2.7.6
    export PATH=$PATH:${JAVA_HOME}/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    (2) 修改hadoo-env.sh mapred-env.sh yarn-env.sh的JAVA_HOME

  • 配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves
    (1) core-site.xml

    fs.defaultFS hdfs://mycluster hadoop.tmp.dir /var/hadoop/tmp ha.zookeeper.quorum node02:2181,node03:2181,node04:2181

(2) hdfs-site.xml

<!--指定hdfs的nameservice为mycluster，需要和core-site.xml中的保持一致 -->
<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>
<!-- mycluster下面有两个NameNode，分别是nn1，nn2 -->
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>node01:8020</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>node02:8020</value>
</property>
<!-- nn1的http通信地址 -->
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>node01:50070</value>
</property>
<!-- nn2的http通信地址 -->
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>node02:50070</value>
</property>
<!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/var/hadoop/ha/jn</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/home/leehan/.ssh</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
</property>

(3) mapred-site.xml

<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

(4) yarn-site.xml

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
<!-- 开启RM高可用 -->
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>cluster1</value>
</property>
<!-- 指定RM的名字 -->
<property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>node03</value>
</property>
<property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>node04</value>
</property>
<!-- 指定zk集群地址 -->
<property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>node02:2181,node03:2181,node04:2181</value>
</property>

(5) slaves
node02
node03
node04

  • 将node01节点的配置复制到node02、node03、node04上(注意权限问题，因为没有使用root 用户)
    scp -r /home/hadoop/app/hadoop-2.7.6/ node02@node02:/home/hadoop/app
3. 启动集群

严格按照下面的步骤!!!

3.1启动zookeeper集群（分别在node02、node03、node04上执行）

在all slave上启动zookeeper服务：
cd /home/hadoop/app/zookeeper-3.4.6/bin/
./zkServer.sh start

可查看状态：一个leader，两个follower
zkServer.sh status

3.2 手动启动journalnode（分别在在node01、node02、node03上执行）

hadoop-daemon.sh start journalnode
运行jps命令检验，是否多了JournalNode进程。

***** 初次启动需要格式化，以后启动无需格式化。*****
3.3 格式化namenode

在node01上执行命令:
hdfs namenode -format

在node02上执行：
hdfs namenode -bootstrapStandby

3.4 格式化ZKFC(在node02上执行一次即可)

hdfs zkfc -formatZK

启动过程中出现报错Configuration has multiple addresses that match local node’s address. Please configure the system with dfs.nameservice.id and dfs.ha.namenode.id：
原因是/etc/hosts文件中配置了多个本机，所以最好不要127.0.0.1的信息。

3.5 启动hdfs（在node01上执行）

start-dfs.sh
这里出现了需要密码认证，原因是四台虚拟机的用户名不一样，所以无法认证，因此需要将虚拟机的用户名统一。

3.6 启动YARN

在node01上执行:
start-yarn.sh

node03-node04启动resourcemanager:
yarn-daemon.sh start resourcemanager

以后启动集群

集群启动：
all slave —-> zkServer.sh start node02 node03、node04
one master —->start-dfs.sh node01
one master —–>start-yarn.sh node01
backup master —->yarn-daemon.sh start resourcemanager node03、node04

正常集群启动后，
namenode上的jps后的进程有：
2648 ResourceManager
2553 DFSZKFailoverController
3036 NameNode
3325 Jps

datanode上的jps后进程有：
2353 NodeManager
2200 DataNode
2264 JournalNode
2137 QuorumPeerMain
2526 Jps

到此，hadoop-2.7.6配置完毕，可以统计浏览器访问:
	http://node01:50070
	NameNode 'node01:9000' (active)
	http://node02:50070
	NameNode 'node02:9000' (standby)

验证HDFS HA
	首先向hdfs上传一个文件
	hadoop fs -put /etc/profile /profile
	hadoop fs -ls /
	然后再kill掉active的NameNode
	kill -9 <pid of NN>
	通过浏览器访问：http://192.168.1.202:50070
	NameNode 'hadoop02:9000' (active)
	这个时候hadoop02上的NameNode变成了active
	在执行命令：
	hadoop fs -ls /
	-rw-r--r--   3 root supergroup       1926 2014-02-06 15:36 /profile
	刚才上传的文件依然存在！！！
	手动启动那个挂掉的NameNode
	sbin/hadoop-daemon.sh start namenode
	通过浏览器访问：http://192.168.1.201:50070
	NameNode 'hadoop01:9000' (standby)

验证YARN：
	运行一下hadoop提供的demo中的WordCount程序：
	hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out

OK，大功告成！！！

测试集群工作状态的一些指令 ：
bin/hdfs dfsadmin -report 查看hdfs的各节点状态信息

bin/hdfs haadmin -getServiceState nn1 获取一个namenode节点的HA状态

sbin/hadoop-daemon.sh start namenode 单独启动一个namenode进程

./hadoop-daemon.sh start zkfc 单独启动一个zkfc进程

m0_67393828
关注
专栏目录
基于ＫＶＭ 虚拟化技术的Ｈａｄｏｏｐ架构
12-31 4174
基于ＫＶＭ 虚拟化技术的Ｈａｄｏｏｐ架构
服务器上kvm搭建虚拟机集群,如何在kvm服务器上创建虚拟机
weixin_28340315的博客
08-04 446
举例：qemu-img create -f raw -o size=4G /images/vm2.rawhzgatt@hzgatt:~/images$ lltotal 0-rw-r--r-- 1 hzgatt hzgatt 4.0G 6月 29 14:11 vm2.rawhzgatt@hzgatt:~/images$ ll -stotal 00 -rw-r--r-- 1 hzgatt hzgat...
kvm 分布式集群部署
最新发布
Linux运维老纪的博客
08-22 1056
本章案例主要使用之前章节所学的 KVM 及 GlusterFS 技术，结合起来从而实现 KVM 高 可用。利用 GlusterFS 分布式复制卷，对 KVM 虚拟机文件进行分布存储和冗余。分布式复 制卷主要用于需要冗余的情况下把一个文件存放在两个或两个以上的节点，当其中一个节点 数据丢失或者损坏之后，KVM 仍然能够通过卷组找到另一节点上存储的虚拟机文件，以保 证虚拟机正常运行。当节点修复之后，GlusterFS 会自动同步同一组卷组里面有数据的节点 数据。
KVM+Sheepdog+NFS构建KVM集群
bobpen的专栏
08-27 7029
1.架构图
kvm集群搭建.docx
08-22
搭建kvm高可用集群，实现kvm动态迁移，当一个节点死掉后，自动迁移到另外一个节点
Hadoop HA 高可用集群的搭建
weixin_30570101的博客
03-06 234
hadoop部署服务器 系统 主机名 IP centos6.9 hadoop01 192.168.72.21 centos6.9 hadoop02 192.168.72.22 centos6.9 hadoop03 192.168.72.23 基础环境准备 1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映...
部署高可用集群(虚拟机演示)
m0_72766690的博客
10-11 1183
手把手教你部署高可用集群
Hadoop2.6.5集群部署教程：CentOS6.8环境
在这个案例中，采用了5台KVM虚拟机，每台虚拟机配置为4个CPU核心、4GB内存和100GB存储空间，且拥有一个网络接口。这5台机器分别用于Master1、Master2（两台Master节点）、Slave1、Slave2和Slave3（三台Slave节点）。...
Hadoop 2.6.5在CentOS6.8版本下的集群部署
02-09
这里，我们采用5台KVM虚拟机作为集群的基础，每台机器至少需要4核CPU、4GB RAM和100GB的存储空间。操作系统是基于64位的CentOS 6.8，且安装时应选择开发部署包。为了确保Hadoop的正常运行，需要关闭selinux和...
虚拟化服务器故障切换,虚拟机故障转移
weixin_33532631的博客
08-11 1499
虚拟机故障转移 内容精选换一换虚拟IP主要用在弹性云服务器的主备切换，达到高可用性HA(High Availability)的目的。当主服务器发生故障无法对外提供服务时，动态将虚拟IP切换到备服务器，继续对外提供服务。了解更多关于虚拟IP的信息，请参见虚拟IP简介 。需要申请10.0.3.100、10.0.3.110、10.0.3.120三个虚拟IP地址。自动恢复：弹性云服务器所在的硬件出现故障时...
使用GFS集群部署KVM虚拟化平台(实例!!!)
ZT云的博客
12-21 703
实验环境 4台GFS节点服务器做GlusterFS集群,提供存储服务给KVM客户端做虚拟化 服务器角色 IP地址 磁盘空间 gfs-node1 192.168.142.152 40G+40G gfs-node2 192.168.142.154 40G+40G gfs-node3 192.168.142.162 40G+40G gfs-node4 192.168.142....
KVM虚拟化主机HA功能实践
weixin_34179968的博客
12-04 594
在这边博客中提到：CloudStack实现 VM高可用功能http://clovemfong.blog.51cto.com/3297559/1316868但是对于主机HA功能一直没有实现，跟it你好兄http://itnihao.blog.51cto.com/仔细讨论并进行协作后通过采用CloudStack的企业版实现了主机HA功能，如下为具体操作步骤：   CloudPlatform的安装步骤和...
Linux下使用kvm搭建虚拟机群
lingshengxiyou的博客
11-30 1470
Linux下使用kvm搭建虚拟机群 1.安装kvm 1.检查cpu是否支持虚拟化
KVM如何以HADOOP作共享存储？
weixin_34320159的博客
02-07 155
看到西部数码的作法。 回想IBM的SMARTCLOUD作法，这主要就是应用了HDFS？ 外加上HBASE和ZOOKEEPER保驾的？ 然后，再想到，这HDFS和OPENSTATCK的SWIFT。。。纠缠了。 再慢慢一个一个的梳理清楚吧。 过了这一关，就应该通透多了。 http://articles.e-works.net.cn/It_overview/Article103906_1.h...
用 KVM 搭建web集群实验笔记 - LVS和Keeplived负载均衡（DR模式）
老胡的笔记
09-17 1808
LVS和Keeplived负载均衡（DR模式）
【高可用-分布式文件系统】------ KVM + GFS 分布式存储
weixin_45409371的博客
12-21 750
一、案例概述： 本架构是将之前博客中讲到的 Glusterfs分布式文件系统，再结合 KVM 虚拟化，达到一个高可用的效果。 （1）原理：利用Glusterfs的分布式复制卷，对kvm虚拟机文件进行分布存储和冗余功能。分布式复制卷主要用于需要冗余的情况下把一个文件存放在两个或以上的节点上，当其中一个节点数据丢失或者损坏之后，kvm 仍然能够通过卷组找到另一节点上的虚拟机文件，保证虚拟机正常运行。当...
kvm linux 集群,KVM虚拟机中部署LVS DR模式集群
weixin_33072399的博客
05-14 698
KVM虚拟机中部署LVS DR模式集群作者：阿圣(Sfan) 发布于：2013-7-28 13:15 Sunday分类：计算机具体部署的步骤就不列出来了..说说我遇到的问题吧..结构:Director:单网卡VIP配置在eth0:1,DIP 配置在 eth0上面VIP: eth0:1 172.16.1.36/24DIP: eth0 172.16.1.112/24R...
KVM虚拟化集群技术概述
weixin_34273046的博客
08-01 3334
一、 虚拟化集群介绍、设计思路及架构 使用虚拟化集群的目标是克服单机虚拟化的局限性，利用技术手段提高虚拟机可用性，最终达到业务不中断或者减少中断时间，确保业务数据更安全的目标。 1. 虚拟化集群介绍 1)什么是虚拟化集群 虚拟机集群最显著的特征是有共享存储，因为有了共享存储，虚拟机就可以实现非常快速的在线迁移，并在虚拟化层配置高可用。笔者在生产环境使...
虚拟机中搭建Hadoop集群步骤详解
"虚拟机搭建Hadoop集群的详细步骤，包括CentOS系统的安装、rz命令的安装、OpenJDK的卸载以及Sun官方JDK的安装过程。" 在搭建Hadoop集群的过程中，首先需要准备合适的操作系统环境。在这个笔记中，作者选择了在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值