2017年04月_小狼_百度

11月 10月 09月 08月 07月 06月 05月 04月 03月

转载深入HBase架构解析（二）

前言这是《深入HBase架构解析（一）》的续，不多废话，继续。。。。HBase读的实现通过前文的描述，我们知道在HBase写时，相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起，甚至删除一个Cell也只是写入一个新的Cell，它含有Delete标记，而不一定将一个Cell真正删除了，因而这就引起了一个问题，如何实现读的问题？要解决这个问题，我们

2017-04-11 16:05:30 398

转载深入HBase架构解析（一）

前记公司内部使用的是MapR版本的Hadoop生态系统，因而从MapR的官网看到了这篇文文章：An In-Depth Look at the HBase Architecture，原本想翻译全文，然而如果翻译就需要各种咬文嚼字，太麻烦，因而本文大部分使用了自己的语言，并且加入了其他资源的参考理解以及本人自己读源码时对其的理解，属于半翻译、半原创吧。HBase架构组成HBase采

2017-04-11 16:04:21 352

转载 Hive SQL优化

在有限资源下，提高执行效率常见问题：数据倾斜， map数设置 reduce数设置Hive执行，HQL>JOB>MAP/REDUCE 查看执行计划 explain hqlhive查询操作优化 join优化 hive.optimize.skewjoin=true;如果是join过程出现倾斜，应该设置为true set hive.skewjoin.k

2017-04-01 15:05:39 686