大数据集群之Hadoop集群（HA）

最新推荐文章于 2024-08-14 20:23:36 发布
最新推荐文章于 2024-08-14 20:23:36 发布
阅读量1k 收藏 2
点赞数
分类专栏： 大数据 Linux随笔 文章标签： hadoop 大数据 zookeeper linux 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bay_bai/article/details/106530132
版权
  1. 大数据集群之虚拟机集群
  2. 大数据集群之Hadoop集群（HA）

基本知识回顾

Hadoop大致是由三部分的组件组成的，分别为HDFS，MapReduce，yarn。

HDFS本质上是文件管理系统，HDFS大致又可以分为两个部分，NameNode（NN），DataNode（DN），NameNode为主节点或者说是Master节点，负责管理DataNode，NameNode同时只能有一个在工作，否则就会发生‘脑裂’。而DataNode则是具体存储数据的节点，DataNode可以是很多，数据是以块保存的，Hadoop2.x默认为128MB一块。

MapReduce为Hadoop的运算框架。

yarn为Hadoop的资源管理模块，负责资源分配和任务调度。yarn在dataNode节点上会有一个NodeManager线程，还自己配置的Master节点ResourceManager。

安装前提需要

配置目标

集群拓扑图在这里插入图片描述
补充：

  • JN代替了原来SecondaryNamenode的功能，并且成了集群，容错性提高了
  • ZK是指zookeeper，用于集群管理。
  • ZKFC是指Hadoop在HA中NN的监听程序。

集群原理示意图
在这里插入图片描述
具体原理这里就不详细解释了，不然更让人‘秃’。

设置免密钥登陆

集群之间的数据交互很频繁，但是不同机器之间要连接就需要密码，设置免密钥登陆可以使集群之间登陆免密登陆。

先用Xshell或其他方法连接上所有虚拟机。

在每个节点上运行以下代码：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa   # 生成密钥
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys   # 将密钥加入到密钥库

在Node1上：
将自己的公钥传给其他节点

scp ~/.ssh/id_rsa.pub node2:/tmp
scp ~/.ssh/id_rsa.pub node3:/tmp
scp ~/.ssh/id_rsa.pub node4:/tmp

在Node2，Node3，Node4上运行：

cat /tmp/id_rsa.pub >> ~/.ssh/authorized_keys # 将传来的公钥加入到密钥库

参照上面的方法把其他节点上将自身的公钥传给其他节点，最好按上面步骤来，注意/tmp下被公钥覆盖的问题。

都传完之后测试Node1测试：

cd /
ssh node1
exit  # 退出当前登陆
ssh node2
exit  # 退出当前登陆
ssh node3
exit  # 退出当前登陆
ssh node4
exit  # 退出当前登陆

如果路径发生了变化则说明当前节点配置成功，
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
参照以上方法在其他的节点上进行测试

安装zookeeper

在node1，node2，node3上安装zookeeper

使用Xftp或其他方法将zookeeper-3.3.6.tar.gz上传至node1:/usr/software/目录下，运行：

cd :/usr/software
tar -zxvf zookeeper-3.3.6
mv zookeeper-3.3.6 zk336
mv zk336 /usr/local
cd /usr/local/zk366/conf
cp zoo_sample.cfg zoo.cfg  
vim zoo.cfg

在这里插入图片描述
server.X=A:B:C X代表server序号 A代表主机名 B:代表follower与leader通信端口 c:代表选举leader端口

在dataDir指定的文件中创建一个myid文件，写入这个服务器的id，即上面zoo.cfg中server后的数字

cd /opt
mkdir zookeeper
cd zookeeper
vi myid

写入1 保存退出， 在其他节点上同样 只要将myid中的值改为对应节点的值。

将这个安装好的zk同步到node2，node3下

scp  -r /usr/local/zk336/   node2:/usr/local/
scp  -r /usr/local/zk336/   node3:/usr/local/

在每个节点中添加环境变量

vim /etc/profile  # 添加环境变量
source /etc/profile  # 让修改后的环境变量立即生效

需要添加的环境变量
在这里插入图片描述
关闭所有节点的防火墙

systemctl stop firewalld   # 停止运行
systemctl disable firewalld    # 禁用，禁止开机启动

在node1，node2，node3节点启动zk服务

zkServer.sh start  # 启动zk服务
zkServer.sh stop   # 关闭zk服务
zkCil.sh  # 在当前节点启动客服端

启动后 jps 查看是否有zk线程，如何如下图则成功。
在这里插入图片描述
如果出现无法连接的情况可能是因为无法访问端口的错误，请关闭防火墙

安装Hadoop

将hadoop-2.9.2.tar.gz 上传到node1:/usr/software/目录下
具体配置信息参阅官方文档

cd /usr/software
tar -zxvf hadoop-2.9.2.tar.gz 
mv hadoop-2.9.2 hadoop292
mv hadoop292 /usr/local/
cd /usr/local/hadoop292/etc/hadoop
vim hadoop-env.sh

添加配置JAVA_HOME
在这里插入图片描述
配置 core-site.xml
添加以下配置

<configuration>
   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://mycluster</value>
   </property>
   <property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/hadoopdata</value>
   </property>

    <property>
   		<name>ha.zookeeper.quorum</name>
 		<value>node1:2181,node2:2181,node3:2181</value>>
    </property>

    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
         <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>

</configuration>

配置 hdfs-site.xml
添加以下配置

<configuration>

    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

    <property>
   		<name>dfs.permissions</name>
   		<value>false</value> 
    </property>
    <property>
   		<name>dfs.permissions.enabled</name>
   		<value>false</value> 
    </property>

    <property>
  		<name>dfs.nameservices</name>
  		<value>mycluster</value>
    </property>
    
    <property>
  		<name>dfs.ha.namenodes.mycluster</name>
  		<value>nn1,nn2</value>
    </property>

    <property>
  		<name>dfs.namenode.rpc-address.mycluster.nn1</name>
  		<value>node1:8020</value>
    </property>
    <property>
  		<name>dfs.namenode.rpc-address.mycluster.nn2</name>
  		<value>node2:8020</value>
    </property>

    <property>
  		<name>dfs.namenode.http-address.mycluster.nn1</name>
  		<value>node1:50070</value>
    </property>
    <property>
  		<name>dfs.namenode.http-address.mycluster.nn2</name>
  		<value>node2:50070</value>
    </property>

    <property>
  		<name>dfs.namenode.shared.edits.dir</name>
  		<value>qjournal://node2:8485;node3:8485;node4:8485/mycluster</value>
    </property>

    <property>
  		<name>dfs.client.failover.proxy.provider.mycluster</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>

    <property>
  		<name>dfs.ha.fencing.methods</name>
  		<value>sshfence</value>
    </property>

    <property>
  		<name>dfs.ha.fencing.ssh.private-key-files</name>
  		<value>/root/.ssh/id_rsa</value>     
    </property>

    <property>
  		<name>dfs.journalnode.edits.dir</name>
  		<value>/opt/journal/node/local/data</value>
    </property>
    
    <property>
   		<name>dfs.ha.automatic-failover.enabled</name>
   		<value>true</value>
    </property>

    <property>
        <name>dfs.datanode.max.transfer.threads</name>
        <value>4096</value>
    </property>
</configuration>

指定DataNode vim slaves 在slaves添加如下三个节点
在这里插入图片描述

配置 yarn-site.xml 添加以下配置

<configuration>

<!-- Site specific YARN configuration properties -->

   
    
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    

    <property> 
  		<name>yarn.resourcemanager.ha.enabled</name> 
  		<value>true</value> 
    </property> 
    <property> 
  		<name>yarn.resourcemanager.cluster-id</name> 
  		<value>yc2yarn</value> 
    </property> 
    <property> 
  		<name>yarn.resourcemanager.ha.rm-ids</name> 
  		<value>rm1,rm2</value> 
    </property> 
    <property> 
  		<name>yarn.resourcemanager.hostname.rm1</name> 
  		<value>node3</value> 
    </property> 
    <property> 
  		<name>yarn.resourcemanager.hostname.rm2</name> 
  		<value>node4</value>
    </property>

     
    <property> 
  		<name>yarn.resourcemanager.webapp.address.rm1</name>
  		<value>node3:8088</value> 
    </property> 
    <property> 
  		<name>yarn.resourcemanager.webapp.address.rm2</name> 
  		<value>node4:8088</value> 
    </property> 
    

    <property> 
  		<name>yarn.resourcemanager.zk-address</name> 
  		<value>node1:2181,node2:2181,node3:2181</value> 
    </property>
</configuration>

添加环境变量

vim /etc/profile

在这里插入图片描述

source /etc/profile

将node1配置好的Hadoop发送给其他节点

scp -r /usr/local/hadoop292 node2:/usr/local
scp -r /usr/local/hadoop292 node3:/usr/local
scp -r /usr/local/hadoop292 node4:/usr/local

将其他节点环境变量设置好

在node2，node3，node4 节点上云行JN

hadoop-daemon.sh start journalnode

在node1上运行

hdfs namenode -forma  # 格式化namenode
hadoop-daemon.sh start namenode  # 启动当前节点

在node2上运行

hdfs namenode -bootstrapStandby # 同步node1nameNode节点的数据

在任意一个NN节点上运行

hdfs zkfc -formatZK  # 格式化zk，这将在ZooKeeper中创建一个znode
zkCli.sh
ls /  # 查看是否注册成功
quit  # 退出客服端

在这里插入图片描述

启动集群

start-all.sh  # 一键启动hdfs和yarn
stop-all.sh   # 一键关闭
start-dfs.sh   # 启动hdfs
start-yarn.sh   # 启动yarn

yarn的resourcemanager需要手动去启动，在node3，node4中运行

yarn-daemon.sh start  resourcemanager

检查各个节点是否成功启动
运行 jps
node1结果
在这里插入图片描述
node2结果
在这里插入图片描述
node3结果
在这里插入图片描述
node4结果
在这里插入图片描述

在浏览器地址栏中输入 http://192.168.36.100:50070
在这里插入图片描述
在浏览器地址栏中输入 http://192.168.36.101:50070
在这里插入图片描述
两个nameNode节点一个是active状态，一个是standby状态。

测试HA
在node1节点运行

hadoop-daemon.sh stop namenode

刷新 http://192.168.36.101:50070， node2节点的nameNode变成active。
在这里插入图片描述

到此 Hadoop 集群完成，下一篇如何使用Hadoop。

bay233
关注
专栏目录
2024年大数据最新Hadoop之Ha高可用搭建教程_启动hadoop高可用集群
2401_84181536的博客
05-02 784
服务的逻辑名称,使用mycluster替换master:9000作为逻辑名称。通过SSH连接到Active NameNode并终止进程。存放namenode、datanode数据的根路径。列出运行 ZooKeeper 服务的主机端口对。存放journalnode数据的地址。两个namenode的rpc通信地址。hdfs分布式文件系统名字/地址。两个namenode的名称。切换namenode代理类。启动自动故障转移机制。
Hadoop大数据集群搭建​ 详细教程
dx1313113的博客
08-21 1508
etc /vsftpd/ftpusers文件专门用于定义不允许访问FTP服务器的用户列表（注意:如果 userlist_enable=YES,userlist_deny=NO,此时如果在vsftpd.user_list和ftpusers中都有某个 用户时，那么这个用户是不能够访问FTP的，即ftpusers的优先级要高）。当设置了该配置项后，用户登陆服务器后，系统就会到/etc/vsftpd/userconf目录下，读取与当前用户名相同的文件，并根据文件中的配置命令，对当前用户进行更进一步的配置。
大数据集群
12-12
大数据集群, 包含了Hadoop,HBase,spark,hive,zookeeper,storm等故障排除端口详解;
大数据Hadoop系列之Hadoop分布式集群部署
热门推荐
飞翔的博客
05-11 44万+
一、部署规划 1、部署环境 各部署单元的软件部署情况如下： 二、环境准备 1、修改主机名 [root@VM1 ~]# vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=master60 [root@VM2 ~]# vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=slave...
Hadoop大数据集群搭建
最新发布
m0_59839948的博客
08-14 874
广东东软学院学子，云计算实验一，Hadoop集群搭建，需要的可以参考，或者私聊我解决问题，希望可以帮到大家
Hadoop大数据集群搭建（超详细）
小飞飞V5的博客
05-21 3万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
大数据集群搭建---《高可用hadoop篇》 --菜鸟小回
菜鸟小回的博客
10-25 745
大数据集群搭建—《高可用hadoop篇》 --菜鸟小回 三、hadoop集群搭建（先配zhiyou001复制给其他，配置前确保zookeeper配置完成） 创建：mkdir /opt/hadoop 进入：cd /opt/hadoop 上传： 解压：tar -zxvf tar -zxvf hadoop-2.7.3 配置hadoop环境变量 vi /etc/profile //添加 #配置ha...
Hadoop2.X大数据集群规划与架构设计
u011277123的博客
05-12 7922
卡弗卡大数据 2017-05-07 17:27 第一阶段：先说说伪分布式 不管是HDFS和YARN，在我们之前的文章中已经说过关于伪分布式的部署和安装。也就是我们把HDFS的两个节点NameNode和DataNode，YARN的ResourceManger和NodeManager都放在同一个机器上。 机器1：bigdata-senior01.kfk.com 进程包括：
大数据技术之HadoopHA视频教程
07-08
视频详细讲解，需要的小伙伴...你将通过本课程学习到，Hadoop存在的单点故障问题，解决单点故障的方案，搭建手动故障转移的HDFS-HA集群，搭建基于Zookeeper的自动故障转移的HDFS-HA集群以及自动故障转移的Yarn-HA集群。
大数据集群搭建之Linux安装hadoop3
2401_84183545的博客
04-28 931
编辑 /etc/profile 文件添加以下内容PATH四、修改配置文件。
大数据起源之Hadoop-第2周.pdf
10-23
HDFS的高可用性（HA）是确保Hadoop集群持续运行的重要特性。在HDFS的HA模式下，存在两个NameNode，一个作为Active状态，负责处理所有客户端请求，另一个作为Standby状态，实时同步Active NameNode的状态，以便在...
大数据hadoop集群搭建
amin_hui的博客
08-19 2653
安装一个Linux系统 配置网卡 重启网络服务 ping baidu 修改主机名 关闭防火墙 安装ssh客户端 克隆Linux系统 对克隆好的系统配置网卡 ssh链接及免密登录 安装JDK 安装hadoop share中doc可删除 - vi /etc/hadoop/hadoop-env.sh JAVA_HOME在哪里 - export JAVAHOME改为绝对路...
hadoop大数据生态集群
shiwei_zsw的博客
08-26 1144
大数据 又称为巨量资料，指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。大数据也可以定义为来自各种来源的大量非结构化或结构化数据。 大数据无处不在，例如我们在淘宝搜索输入一个手机后，下次进入时，会被推送各种产品的手机，而且别的应用都会有推荐。大家都知道是淘宝知道了我们的浏览记录，然后推送相关的东西。但是有一点是，全国这么多人使用淘宝，这么多的浏览数据该如何存储和计算，来给对应...
大数据---hadoop集群搭建
super--man的博客
03-14 711
集群规划： 主机名 IP 安装的软件 运行的进程 hadoop11 192.168.55.11 jdk、hadoop NameNode、DFSZKFailoverController hadoop12 192.168.55.12...
大数据配置（hadoop的三种集群方式）
hyy_blog
03-06 4209
大数据配置（hadoop的三种集群方式） Hadoop的运行模式分为3种：本地运行模式，伪分布运行模式，集群运行模式，前2种都是在同一台机器上进行的操作，相应概念如下： （楼主 建立了一个集群 主机 node3 从机分别是node1 node2） 1、独立模式即本地运行模式（standalone或local mode）无...
【大数据】搭建简单的Hadoop集群
07-24 537
转自：http://chenjianjx.iteye.com/category/228230
淘宝Hadoop集群的概况(转)
weixin_34259159的博客
10-09 250
国内外使用Hadoop的公司比较多，全球最大的Hadoop集群在雅虎，有大约25，000个节点，主要用于支持广告系统与网页搜索。国内用Hadoop的主要有百度、淘宝、网易、华为、中国移动等，其中淘宝的Hadoop集群属于较大的（如果不是最大）。淘宝Hadoop集群现在超过1700个节点，服务于用于整个阿里巴巴集团各部门，数据来源于各部门产品的线上数据库（Oracle, MySQL）备份，系统日志以...
大数据应用（一）hadoop集群搭建
qq_44170829的博客
10-29 300
的aa
【大数据技术】1.hadoop集群搭建
橙子关于大数据的技术学习
11-02 348
近年来，大数据技术越来越吃香，也是追求高薪的必备技能之一。 近些日子，打算技术转型，开始研究大数据技术，基于对JAVA、LINUX系统有一定的基础，完成hadoop集群搭建（1个master和1个slave）。 一、准备工具 VMvare、centOS6.3、SSH Secure客户端（具体安装过程这里不做描述） hadoop2.X压缩包与jdk安装包，我这里准备的JDK和Hadoop软件包如下所...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值