主题:Hadoop高可用性(HA)的原理和实现
1、什么是HA?: 防止主节点死掉了,造成整个集群无法访问
2、ZooKeeper简介
3、Hadoop高可用性的实现原理
4、Demo演示:Hadoop的HA
HA两方面:HDFS和Yarn ----> Hadoop平台
HBase
二、Google的基本思想之二:MapReduce计算模型 来源就是:PageRank ----> 数据的计算
1、什么是PageRank问题?----> 搜索排名
2、PageRank:网页1亿个-----> MapReduce计算模型
3、更简单一点的例子:MapReduce计算模型
4、思考问题:MapReduce最大的问题是什么? ----> Spark计算模型
三、Google的基本思想之三:BigTable(大表) -----> NoSQL数据库:HBase
1、大表是违背关系型数据库范式的要求
2、关系型数据库:设计表结构
(1)遵从ER模型 ---> 范式 ---> 外键 : 好处:减少数据冗余 坏处:影响性能(多表查询)
(2)为了提高性能:创建一些冗余表(提高性能)
3、BigTable(大表):类似冗余表。通过牺牲空间,换取性能
1、什么是HA?: 防止主节点死掉了,造成整个集群无法访问
2、ZooKeeper简介
3、Hadoop高可用性的实现原理
4、Demo演示:Hadoop的HA
HA两方面:HDFS和Yarn ----> Hadoop平台
HBase
Storm
二、Google的基本思想之二:MapReduce计算模型 来源就是:PageRank ----> 数据的计算
1、什么是PageRank问题?----> 搜索排名
2、PageRank:网页1亿个-----> MapReduce计算模型
3、更简单一点的例子:MapReduce计算模型
4、思考问题:MapReduce最大的问题是什么? ----> Spark计算模型
三、Google的基本思想之三:BigTable(大表) -----> NoSQL数据库:HBase
1、大表是违背关系型数据库范式的要求
2、关系型数据库:设计表结构
(1)遵从ER模型 ---> 范式 ---> 外键 : 好处:减少数据冗余 坏处:影响性能(多表查询)
(2)为了提高性能:创建一些冗余表(提高性能)
3、BigTable(大表):类似冗余表。通过牺牲空间,换取性能