Hadoop与大数据技术大会2012PPT阅读笔记

最新推荐文章于 2023-11-29 15:08:08 发布

置顶 solobear

最新推荐文章于 2023-11-29 15:08:08 发布

阅读量896

点赞数

分类专栏： NoSql DB

NoSql DB 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

以下是Hadoop与大数据技术大会 2012 的一些PPT文档的阅读笔记（不包含一些宣传和概念介绍性的PPT），纯粹看文档的理解，如有错误请指正。

HBase Coprocessor优化与实验

所做的优化工作大概是如下两个：

Table在re-enable的时候，修改了region的assignment策略，由随机分配改为基于数据本地性分配。（不过HBASE Trunk的最新code以及StochasticLoadBalancer貌似已经解决了这个问题）

EndPoint类coprocessor的执行结果是以PerRegion的方式返回给Client，在一个Region Server中存在大量Region的时候，如果修改CP框架，增加CP接口，将结果先在Region Server本地做一次Aggregator，可以减少数据传输，利用Region Server计算资源等，来提高速度

Facebook开发HDFS和HBase的新进展

HDFS方面主要是

对NameNode的增强，如Federation, HA (Avatar热备份）
使用HDFS Raid技术减少存储空间（靠纠错编码增加数据容错性，进而减少数据Replica的数量，PPT看减少到1？真的话有点过份），采用的是RS编码
一些读写稳定性的改进。

HBASE方面主要是：

针对交换机重启情况做的特殊容错处理
Data Block的encoding(fastdiff, prefix compression等）
Region aware的HDFS data block replica 放置算法，使一个Region的所有数据块的一个完整备份放在同一个（当然是另外的）data node上

NameNode性能诊断及优化

阿里云梯HADOOP集群（3200个节点）Namenode的优化，优化了RPC和DFS写操作

NameNode的RPC队列由单队列改为多队列，SIMD指令优化JVM，空操作响应速度提升40%
简化DFS操作写锁内的操作（将部分操作提到锁外执行），NNThroughputBenchmarkMixed速度提升10-20%

HBase用例分析

大概讲淘宝数据魔方的几个Case，用HBase改造原先非HBase的数据库和业务框架，没有听光看PPT看不出太多东西

阿里Hadoop集群架构及服务体系

主要讲阿里云梯HADOOP集群的整体架构和辅助服务框架。其应用模式的基本指导原则就是共享，不单是各种业务（淘宝，支付宝，天猫等等）共享集群，同时，生产，开发和测试也共享同一集群。。。大概是为了数据共享和节省成本。这样也就带来了各种问题，PPT里描述了这些问题以及如何解决

对数据的安全性的要求：增加了Hadoop的权限认证机制
测试，开发给生产集群稳定性带来的影响
- 异常Job的监控（内存，磁盘，各种Job参数的监控）
- Job Level的设定，优先调度高Level作业

大规模并发和共享的使用模式带来的兼容性和可扩展性挑战
- 优化NameNode解决单Master节点的性能压力
- Job Track任务调度算法改进，热备份等解决Job Tracker的压力
- 根据Job，Map和Reduce Slot动态调整的机制，解决混合使用模式的性能自动调优

总体看来，云梯针对实际应用模式解决的许多问题都是Hadoop2.0的Yarn架构和HA等预期解决的目标问题，此外就是针对业务应用的外围模块，应该是一个Hadoop发行版应该打包支持的内容。

HDFS Name Node高可用性研究

介绍华为在Hadoop方面的工作，简单提了一下在Hbase Secondary Index和Hadoop1/2的NN JobTracker等以及Hive上的HA做了工作，主要的篇幅介绍的NameNode的HA，基于Share Storage的实现

HBase的二级索引

介绍华为在Hbase Sercondary Index方面做的工作，基本上是使用coprocessor来实现的，针对每个表的额外的索引，增加一个对应的索引表，这个索引表的分区情况和原表的分区一一对应，索引表的Row Key由分区起始key+索引Id+索引column对应的Value+原始数据的RowID构成。索引表由coprocessor在put操作时维护，总结起来：