hadoop HA 架构

集群的好处:

每一个角色都是一个进程; 

HDFS:NN(老大),SNN,DN

YARN:RM(老大),NM

老大挂了怎么办? 

大数据所有的组件都是主从架构的 master-slave 

比如,hdfs读写请求都是先NN节点,但是hbase 读和写的请求不经过老大master,建表语句经过

一般配置两个NN节点(实时的,任何时刻只有一台对外,另外一台standby 做实时备份 随时准备着从standby切换到active状态,对外服务)  NN1,NN2

配2个NN节点后,SNN就没有必要了

两个NN节点的切换是无感知的,可以来回切换

命名空间  nameservice1  CDH

                dw                    

 

NN: fsimage editlog 读写请求记录

HA的进程: 3台机器的情况下

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和伪分布式安装.avi 06-hadoop版本选择和伪分布式安装2.avi 07-hdfs&mapreduce;测试.avi 08-hdfs的实现机制初始.avi 09-hdfs的shell操作.avi 10-hadoop集群搭建的无密登陆配置.avi 第二天 hdfs的原理和使用操作、编程 01-NN元数据管理机制.avi 02-NN工作机制2.avi 03-DN工作原理.avi 04-HDFS的JAVA客户端编写.avi 05-filesystem设计思想总结.av i 06-hadoop中的RPC框架实现机制.avi 07-hadoop中的RPC应用实例demo.avi 08-hdfs下载数据源码跟踪铺 垫.avi 09-hdfs下载数据源码分析-getFileSystem.avi 10-hdfs下载数据源码分析-getFileSystem2.avi 第三天 mapreduce的原理和编程 01-hdfs源码跟踪之打开输入流.avi 02-hdfs源码跟踪之打开输入流总结.avi 03-mapreduce介绍及wordcount.avi 04-wordcount的编写和提交集群运行.avi 05-mr程序的本地运行模式.avi 06-job提交的逻辑及YARN框架的技术机制.avi 07-MR程序的几种提交运行模式.avi 08-YARN的通用性意义.avi 09-yarn的job提交流程.avi 第四天 常见mr算法实现和shuffle的机制 01-复习.avi 02-hadoop中的序列化机制.avi 03-流量求和mr程序开发.avi 04-hadoop的自定义排序实现.avi 05-mr程序中自定义分组的实现.avi 06-shuffle机制.avi 07-mr程序的组件全貌.avi 08-textinputformat对切片规划的源码分析.avi 09-倒排索引的mr实现.avi 10-多个job在同一个main方法中提交.avi 第五天 hadoop2.x中HA机制的原理和全分布式集群安装部署及维护 01-zookeeper.avi 02-zookeeper2.avi 03-NN高可用方案的要点1.avi 04-hadoop-HA机制的配置文件.avi 05-hadoop分布式集群HA模式部署.avi 06-hdfs--HA测试.avi 07-hdfs--动态增加节点和副本数量管理.avi 08-HA的java api访问要点.avi 09-hive入门.avi 第六天 hbase hive 01-复习ha相关.avi 02-hive的元数据库mysql方式安装配置.avi 03-hive的使用.avi 04-hive的常用语法.avi 05-hql语法及自定义函数.avi 06-hbase表结构.avi 07-hbase集群架构及表存储机制.avi 08-hbase-shell.avi 09-hbase的java api.avi 第七天 storm+kafka 006-kafka整合storm.avi 01-storm基本概念.avi 02-storm编程规范及demo编写.avi 03-storm的topology提交执行.avi 04-kafka介绍.avi 05-kafuka集群部署及客户端编程.avi 06-kafka消费者java客户端编程.avi 第八天 实战项目 01-项目背景及技术架构.avi 02-主要技术选型.avi 03-flume介绍及演示.avi 04-行为轨迹增强处理流程.avi 05-样本url筛选模块开发.avi 06-行为轨迹增强模块1.avi 07-行为轨迹增强模块2.avi
100节课详细讲解,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 01_hadoop_hdfs1分布式文件系统01 02_hadoop_hdfs1分布式文件系统02 03_hadoop_hdfs1分布式文件系统03 04_hadoop_hdfs1分布式文件系统04 05_hadoop_hdfs1分布式文件系统05 06_hadoop_hdfs1分布式文件系统06 07_hadoop_hdfs1分布式文件系统07 08_hadoop_hdfs1分布式文件系统08_io 09_hadoop_hdfs1分布式文件系统09_io 10_hadoop_hdfs1分布式文件系统10 11_hadoop_hdfs1分布式文件系统11 12_hadoop_hdfs1分布式文件系统12 13_hadoop_hdfs1分布式文件系统13 14_mr分布式计算框架_理论1 15_mr分布式计算框架_理论2 16_mr分布式计算框架_理论3 17_mr分布式计算框架_理论4 18_mr分布式计算框架_理论5 19_mr分布式计算框架_理论6 20_mr分布式计算框架_install01 21_mr分布式计算框架_install02 22_mr分布式计算框架_wc01 23_mr分布式计算框架_wc02 24_mr分布式计算框架_wc03 25_mr分布式计算框架_wc04 26_mr_qq推荐好友01 27_mr_qq推荐好友02 28_mr_精准广告推送01 29_mr_精准广告推送02 30_mr_精准广告推送03 31_mr_精准广告推送04 32_hadoop2.x_介绍01 33_hadoop2.x_介绍02 34_hadoop2.x_ha介绍01 35_hadoop2.x_ha介绍02 36_hadoop2.x_ha介绍03 37_hadoop2.x_ha介绍04 38_hadoop_hadoop2.5.2的安装部署01 39_hadoop_hadoop2.5.2的安装部署02 40_hadoop_hadoop2.5.2的安装部署03 41_hadoop_hadoop2.5.2的安装部署04 42_hadoop_hadoop2.5.2的安装部署05 43_hadoop_hadoop2.5.2的安装部署06 44_hadoop2.x_温度排序,分区,分组,自定义封装类01 45_hadoop2.x_温度排序,分区,分组,自定义封装类02 46_hadoop2.x_温度排序,分区,分组,自定义封装类03 47_hadoop2.x_温度排序,分区,分组,自定义封装类04 48_hadoop2.x_温度排序,分区,分组,自定义封装类05 49_hadoop2.x_温度排序,分区,分组,自定义封装类06 50_hadoop2.x_广告推送用户轨迹01 51_hadoop2.x_广告推送用户轨迹02 52_hadoop2.x_广告推送用户轨迹03 53_hadoop2.x_广告推送用户轨迹04 54_hadoop2.x_广告推送用户轨迹05 55_hadoop2.x_广告推送用户轨迹06 56_hive_介绍和安装01 57_hive_介绍和安装02 58_hive_介绍和安装03 59_hive_介绍和安装04 60_hive_ddl数据定义语言01 61_hive_ddl数据定义语言02 62_hive_ddl数据定义语言03 63_hive_ddl数据定义语言04 64_hive_dml数据操作语言_select01 65_hive_dml数据操作语言_select02 66_hive_dml数据操作语言_select03 67_hive_dml数据操作语言_select04 68_hive_server2服务器01 69_hive_server2服务器02 70_hive_server2服务器03 71_hive_server2服务器04 72_hadoop_轨迹分析01 73_hadoop_轨迹分析02 74_hadoop_轨迹分析03 75_hadoop_轨迹分析04 76mr分布式计算框架_理论01 77mr分布式计算框架_理论02 78_hbase_介绍01 79_hbase_介绍02 80_hbase_介绍03 81_hbase_介绍04 82_hbase_介绍05 83_hbase_介绍06 84_hbase_介绍07 85_hbase_介绍08 86_hbase_介绍09 87_hbase_介绍10 88_hbase_完全分布式01 89_hbase_完全分布式02 90_hbase_代码01 91_hbase_代码02 92_hbase_代码03 93_hbase_代码04 等等

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值