{{π型人才培养计划}}HadoopHA

最新推荐文章于 2022-03-31 21:39:43 发布
最新推荐文章于 2022-03-31 21:39:43 发布
阅读量99 收藏
点赞数
分类专栏： Java大数据 文章标签： 其他
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40828705/article/details/103471862
版权

一、Hadoop HA 角色分配

在这里插入图片描述

HadoopNode01HadoopNode02HadoopNode03
ZookeeperZookeeperZookeeper
NameNode（Active）NameNode（ Standby）
ZKFCZKFC
JournalNodeJournalNodeJournalNode
DataNodeDataNodeDataNode
ResourceManagerResourceManager
NodeMangerNodeMangerNodeManger

ZKFC 作为一个ZK集群 的客户端 ，用来监控NN的状态信息，每个NN节点必须运行一个ZKFC

Journal Node 日志节点是HDFS 中一种高可用的解决方案，两个NN进行数据同步，会通过JN进行互相独立的通信。当active状态的NameNode的命名空间有任何修改，会告知大部分JN进程，standby状态的NameNode会读取JNS中变更信息，并一致监控edits log的变化，把变化应用与自己的命名空间，这样在active状态NameNode出现错误的时候，standby状态的NameNode能够立马替代其功能。

二、Hadoop HDFS 高可用

（1）配置主机名和IP的映射关系

[root@HadoopNodeX ~]# vi /etc/hosts

192.168.126.11 HadoopNode01
192.168.126.12 HadoopNode02
192.168.126.13 HadoopNode03

（2）关闭防火墙

[root@HadoopNode00 ~]# service iptables stop
[root@HadoopNode00 ~]# chkconfig iptables off

（3）同步时钟

[root@HadoopNode01 zookeeper-3.4.6]# date -s '2019-11-01 16:37'

（4）配置SSH免密登陆

[root@HadoopNodeX zookeeper-3.4.6]# ssh-keygen -t rsa # 先在每一台节点上生成公私玥
#下面命令 需要在每台节点上分别执行一遍
[root@HadoopNodeX zookeeper-3.4.6]# ssh-copy-id HadoopNode01  
[root@HadoopNodeX zookeeper-3.4.6]# ssh-copy-id HadoopNode02
[root@HadoopNodeX zookeeper-3.4.6]# ssh-copy-id HadoopNode03

（5）Java 环境变量

[root@HadoopNode00 ~]# vi .bashrc

export JAVA_HOME=/home/java/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin

（6）安装启动ZK

参考上章

（7）解压配置Hadoop

解压
配置环境（需要指定bin和sbin）

（8）配置 core-site.xml

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>

<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hadoop/hadoop-2.6.0/hadoop-${user.name}</value>
</property>

<property>
  <name>fs.trash.interval</name>
  <value>60</value>
</property>


<!-- 设置机架脚本文件-->
<property>
  <name>net.topology.script.file.name</name>
  <value>/home/hadoop/hadoop-2.6.0/etc/hadoop/rack.sh</value>
</property>

（9 ）创建机架脚本

/home/hadoop/hadoop-2.6.0/etc/hadoop/rack.sh

while [ $# -gt 0 ] ; do
	nodeArg=$1
	exec</home/hadoop/hadoop-2.6.0/etc/hadoop/topology.data
	result=""
	while read line ; do
        ar=( $line )
        if [ "${ar[0]}" = "$nodeArg" ] ; then
        result="${ar[1]}"
        fi
    done
    shift
    if [ -z "$result" ] ; then
         echo -n "/default-rack"
    else
    	echo -n "$result "
    fi
done

务必在启动之前给rack.sh 添加执行权限 chmod u+x /home/hadoop/hadoop-2.6.0/etc/hadoop/rack.sh

（10）创建机架文件

配置节点所在的机架位置

192.168.126.11  /rack1
192.168.126.12  /rack1
192.168.126.13  /rack2

（11）配置hdfs-site.xml

<configuration>
<!-- 设置副本因子数为3-->
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<!-- 自动故障转移-->
<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>
<!-- zk配置-->
<property> 
    <name>ha.zookeeper.quorum</name>
    <value>HadoopNode01:2181,HadoopNode02:2181,HadoopNode03:2181</value>
</property>
<!-- 命名服务为mycluster-->
<property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
</property>
<!-- 命名服务为mycluster 下有nn1,nn2-->
<property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
</property>
    <!-- 指定nn1 的host和port-->
<property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>HadoopNode01:9000</value>
</property>
     <!-- 指定nn2 的host和port-->
<property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>HadoopNode02:9000</value>
</property>
 <!-- 指定qjournal的host和port-->
<property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://HadoopNode01:8485;HadoopNode02:8485;HadoopNode03:8485/mycluster</value>
</property>
 <!-- 设置故障转移的策略-->
<property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- ssh主动防御-->
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
</property>
    <!--设置私钥的路径 -->
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
</property>
</configuration>

（12）编辑slaves

/home/hadoop/hadoop-2.6.0/etc/hadoop/slaves

HadoopNode01
HadoopNode02
HadoopNode03

（13）启动

在启动之前请将之前的单节点的数据清空

rm -rf /home/hadoop/hadoop-2.6.0/hadoop-root/*

如果坏了（因为没有正常关闭 等原因）：清空（1）停掉所有进程（2）删除zk datadir目录下除myid以外的所有文件（清空ZK）

（3）删除/hadoop-root目录文件夹（4）先启动ZK，在按照下面的指令执行一遍

[root@HadoopNodeX hadoop]# hadoop-daemon.sh start journalnode # 启动日志节点

[root@HadoopNode01 hadoop]# hdfs namenode -format  # 在节点1上格式化namenode

[root@HadoopNode01 hadoop]# hadoop-daemon.sh start namenode   # 在节点1上启动namendoe

[root@HadoopNode02 zookeeper-3.4.6]# hdfs namenode -bootstrapStandby   # 在节点2上格式化namenode（Stabdby）

[root@HadoopNode02 zookeeper-3.4.6]# hadoop-daemon.sh start namenode   # 在节点2上启动namendoe

[root@HadoopNode01 hadoop]# hdfs zkfc -formatZK  # 格式化zkfc  （此操作只进行一次即可，在nn所在节点上） 

[root@HadoopNode01 zookeeper-3.4.6]# hadoop-daemon.sh start zkfc  # 在节点1上启动zkfc

[root@HadoopNode02 zookeeper-3.4.6]# hadoop-daemon.sh start zkfc  # 在节点2上启动zkfc

[root@HadoopNodeX  zookeeper-3.4.6]# hadoop-daemon.sh start datanode #每台节点上启动dn

（14）日常维护

[root@HadoopNode01 hadoop]# start-dfs.sh
[root@HadoopNode01 hadoop]# stop-dfs.sh

三、Hadoop YARN 高可用

（1）配置yarn-site

<configuration>

<!-- Site specific YARN configuration properties -->

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!--Resource Manager-->
<property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
</property>
<property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>HadoopNode01:2181,HadoopNode02:2181,HadoopNode03:2181</value>
</property>
<property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>rmcluster01</value>
</property>
<property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>HadoopNode02</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>HadoopNode03</value>
</property>

</configuration>

（2）配置mared-site.xml

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

</configuration>

（3）启动YRAN

[root@HadoopNode02 zookeeper-3.4.6]# yarn-daemon.sh start|stop resourcemanager # 在2节点上启动resourcemanager
[root@HadoopNode03 zookeeper-3.4.6]# yarn-daemon.sh  start|stop resourcemanager  # 在3节点上启动resourcemanager

[root@HadoopNodeX hadoop]#  yarn-daemon.sh  start|stop nodemanager  # 每个节点上启动nodemanager

（3）启动YRAN

[root@HadoopNode02 zookeeper-3.4.6]# yarn-daemon.sh start|stop resourcemanager # 在2节点上启动resourcemanager
[root@HadoopNode03 zookeeper-3.4.6]# yarn-daemon.sh  start|stop resourcemanager  # 在3节点上启动resourcemanager

[root@HadoopNodeX hadoop]#  yarn-daemon.sh  start|stop nodemanager  # 每个节点上启动nodemanager
炳烛之明科技
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
π型滤波频率计算_π型电感滤波电路计算
weixin_39636707的博客
12-20 2867
计算出正确的电感值对选用合适的电感和输出电容以获得最小的输出电压纹波而言非常重要。可以看出，流过开关电源电感器的电流由交流和直流两种分量组成，因为交流分量具有较高的频率，所以它会通过输出电容流入地，产生相应的输出纹波电压dv=di×RESR.这个纹波电压应尽可能低，以免影响电源系统的正常操作，一般要求峰峰值为10mV~500mV纹波电流的大小同样会影响电感器和输出电容的尺寸，纹波电流一般设定为最大...
π型滤波频率计算_一文看懂π型滤波电路原理
weixin_39968266的博客
12-20 2700
π型滤波器简介π型滤波器包括两个电容器和一个电感器，它的输入和输出都呈低阻抗。π型滤波有RC和LC两种，在输出电流不大的情况下用RC，R的取值不能太大，一般几个至几十欧姆，其优点是成本低。其缺点是电阻要消耗一些能量，效果不如LC电路。滤波电容取大一点效果也不错。LC电路里有一个电感，根据输出电流大小和频率高低选择电感量的大小。其缺点是电感体积大，笨重，价格高。现在一般的电子线路的电源都是RC滤波。...
CDH集群服务器主机节点与角色分配相关思考
weixin_46576686的博客
10-26 1596
默认首先安装的是： zookeeper -- 因为hadoop的ha高可用性需要用到zookeeper（zkfailovercontroller 与hdfs 的先后顺序影响不到） yarn的resource manager等资源管理用到 hbase的region reserver入口管理 响应客户端请求需要用到 kafka的topic等元数据保存用到了zookeeper （Zookeeper Server 进程 奇数个 paxos算法核心--为了保证半数以上投票支持 且节约资源 需要是奇数...
如何给hadoop集群分配角色
chenguangchun1993的博客
01-25 6805
转载自微信公众号Hadoop实操 1.文档编写目的 本文主要介绍由Cloudera Manager管理的CDH集群的角色划分。实际部署你可能还需要考虑工作负载的类型和数量，真实要部署的哪些服务，硬件资源，配置，以及其他因素。当你使用Cloudera Manager的安装向导来安装CDH时，CM会根据主机的可用资源，自动的分配角色到各台主机，边缘节点除外。你可以在向导中使用”自定义角色分配
π型滤波器 计算_T型π型滤波器计算软件
weixin_42523711的博客
02-05 5319
这是T型π型滤波器计算软件下载，可以进行简单的π型和T型滤波设计，可以帮助你较快的计算，免除繁杂的公式推导。软件介绍T型π型滤波器计算软件是一款适合用来计算高低通滤波器的软件。所谓的高低通滤波器是让某一频率以下的信号分量通过，而对该频率以上的信号分量大大抑制的电容、电感与电阻等器件的组合装置。软件内置了空芯电感，衰减器，幅度均衡，分支分配，微带线，电缆抗阻，工程常量等计算。软件说明T型π型滤波器计...
最近很火的π型人才对程序猿有哪些启示？
lhs_csdn的博客
11-12 909
最近很火的π型人才对程序猿有哪些启示？ 一、什么是π型人才？ 官方解释：指至少拥有两种专业技能，并能将多门知识融会贯通的高级复合型人才。 π下面的两竖指两种专业技能，上面的一横指能将多门知识融会应用。 π型人才完全具备复合性、发展性、创新性、竞合性这四个特征，它是21世纪人才的标准。 核心含义：一项综合技能+两项专业技能 二、为什么突然提出这个概念？ 因为在近期，美团联合创始人、高级副总裁王慧文回到清华发表演讲，在...
π型滤波频率计算_滤波器频率计算
weixin_39938746的博客
12-20 1889
一、滤波器影象参数法的设计滤波器是一种典型的选频电路，在给定的频段内，理论上它能让信号无衰减地通过电路，这一段称为通带外的其他信号将受到很大的衰减，具有很大衰减的频段称为阻带，通带与阻带的交界频率称为截止频率，对滤波器的基本要求是：(1)通带内信号的衰减要小，阻带内信号的衰减要大，由通带过渡到阻带的衰减特性陡直上升；(2)通带内的特性阻抗要恒为常数，以便于阻抗匹配。滤波器的分类如下：滤波器：1、无...
Hadoop HA 集群搭建（非CDH版本）
あずにゃん梓喵的博客
04-30 660
大数据组件安装(非CDH)和使用 总文章 代码下载链接： https://pan.baidu.com/s/1VhxRXB63vz_4QZyKVFqoZQ 提取码：2v0l Hadoop HA--集群搭建 的角色分配 1.集群部署节点角色的规划： 1.部署7节点： server01 namenode zkfc server02 namenode zk...
四种π型RC滤波电路
热门推荐
We are all in the gutter, but some of us are looking at the stars.
08-14 2万+
1．典型π型RC滤波电路     图7-27所示是典型的兀型RC滤波电路。电路中的Cl、C2是两只滤波电容，Rl是滤波电阻，Cl、Rl和C2构成一节π型RC滤波电路。由于这种滤波电路的形式如同字母π且采用了电阻、电容，所以称为π型RC滤波电路。ADP3211AMNG从电路中可以看出，π型RC滤波电路接在整流电路的输出端。     这一电路的滤波原理是：从整流电路输出的电压首先经过Cl的滤波，将大部...
T 型与π型衰减网络
qq_45890466的博客
03-31 1万+
引言 在无线系统测试中常常需要对从一个设备到另一个设备的信号进行衰减。例如，射频发射机测试中，涉及的功率等级常常从几瓦到几百瓦甚至上千瓦，这么大功率的信号必须得经过衰减以后才可以连接到大部分的测试设备中，否则会对测试设备有损害。一种叫做衰减器的简单电路常常能用来减少信号幅度，而且衰减器不但可以把信号电压衰减到一定值还可以对阻抗值进行变换。实现此功能的电路常常被称作π型或 T型衰减网络。 理论分析 大部分测试设备常常具有特定的输入阻抗。比如，许多的无线通信测试设备的特性阻抗为50 Ω 而视频设备的特性阻抗为
T型_π型衰减器表.pdf
10-13
讲述射频电路中，T型、π型衰减器的基本设计参数表。如何选型电阻电容组合成经典的T、π衰减器。
LC滤波和LC-π型滤波电路（a）
07-28
本文给大家分享了一个LC滤波和LC-π型滤波电路。
LC滤波和LC-π型滤波电路（b）
07-28
本文给大家分享了一个LC滤波和LC-π型滤波电路。
薄煤层炮采π型钢梁支护工艺实践
06-11
基于霍州煤电集团团柏煤矿特点,在开采条件较复杂的情况下,采用炮采和π型钢梁支护顶板工艺,对前期废弃的薄煤层进行回采实践。实践应用效果表明,π型钢梁支护效果较好,能够适应近距离上覆采空区的条件,开采期间无垮顶...
π型，T型滤波器设计Excel
02-09
参考http://download.csdn.net/download/guetjunge/4119176，这个没有密码，所有数据都有，仅供大家学习研究。π型，T型滤波器设计，有DB图
Hive_MBY_GJF
qq_40828705的博客
06-23 1090
一、概述 由FaceBook开源用于解决海量结构化日志的数据统计工具。 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hive是...
Apache Flink_JZZ158_MBY
qq_40828705的博客
01-07 718
Apache Flink 概述 Flink 是构建在数据流之上的一款有状态流计算框架。通常被人们称为第三代大数据分析方案。 第一代大数据处理方案: Hadoop Map Reduce 静态批处理 | Storm 实时流计算 2014年9月，两套独立的计算引擎。 难度大 第二代大数据处理方案:Spark RDD 静态皮批处理、Spark Streaming(DStream) 实时流计算...
Apache Flink_JZZ166_MBY
qq_40828705的博客
06-23 706
Apache Flink Flink发展史 第一代大数据处理方案：2006年Hadoop的MapReduce-批/HDFS, 2014年9月份 apache Storm-流 第二代大数据处理方案：2014年2 Spark RDD -批处理 ，DStream - 流 （批模拟流 ）延迟高 第三代大数据处理方案：2014年12 Flink DataStream-流，Dataset- 批 吞吐量高，低延...
Hadoop_GJF_MBY
qq_40828705的博客
06-23 702
一、概述 1.1 大数据概念 大数据是需要新处理模式才能具有更强的决策力 、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产 1.2 大数据面临的问题 数据的存储：单机存储有限，如何解决海量存储？（分布式、集群等） 数据的分析：单机的算力 有限，如何在合理时间内对数据完成成本运算？ 1.3 大数据的特点 4V Volume 数据量 Velocity 时效 Variety ...
π型 t型 桥t型 计算
最新发布
01-22
π型桥是一种常见的电子电路元件，可用于调整电阻和电感的数值。它由四个电阻和两个电感组成，形状类似于π字母。当信号输入到π型桥的一个端口时，可以通过调整电阻和电感的数值来改变信号的幅度和相位。π型桥常...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值