xywtalk-CSDN博客

原创 Apache Beam: Google一统大数据处理的野心？

1月10日，Apache 软件基金会宣布，Apache Beam 已经成功地从孵化毕业，成为基金会的一个新的顶级项目。虽然简单来说，这里只是开源了一个SDK，但却显示了Google在统一大数据处理方面的野心。Google的野心可以实现吗？

2017-01-18 09:04:06 2558

原创 RoaringBitmap源码分析一(AND操作)

在上文“RoaringBitmap简析”中，简单的描述了RoaringBitmap的原理，主要是关于底层的数据结构。今天再重点根据源码来分析常用的位图操作是如何高效实现的。考虑到Bitmap在搜索引擎和列存储中的使用场景，AND应该是最常用的操作，我们来重点分析。首先，我们知道在Roaring Bitmap中，一个bitmap包含一个RoaringArray类型的成员变量highLowContai

2016-09-19 22:51:27 4553

翻译 12个小技巧让你在小组讨论时游刃有余(下)

翻译自：Twelve secret skills to make you look professional in group discussion作者Joe Bloggs，发表于Profession Review不管是找工作的时候参加“群面”，还是在入职后新员工培训时或者是工作中的小组讨论中，每个人都希望自己表现出超凡的领导力，给领导留下好印象。但有的时候这并

2016-07-31 21:51:33 1187

翻译 12个小技巧让你在小组讨论时游刃有余(上)

翻译自：Twelve secret skills to make you look professional in group discussion 作者Joe Bloggs，发表于Profession Review不管是找工作的时候参加“群面”，还是在入职后新员工培训时或者是工作中的小组讨论中，每个人都希望自己表现出超凡的领导力，给领导留下好印象。但有的时候这并不容易，特别是前一天看球看到很晚，

2016-07-10 23:34:22 1895

原创 Pinot中的Inverted Index源码分析

Inverted Index就是我们通常所说的倒排表(倒排索引)。Key是value，而值是value所在的那些行的id的集合。还是以Quickstart为例，说一下interved index的创建过程。收集各个column的统计数据代码同dictionary index和forward index。Inverted index数据结构初始化// Initialize the index cr

2016-04-22 23:53:18 617

原创 Pinot中的Forward Index源码分析

Pinot中的Forward Index还是以Quickstart为例，说一下forward index的创建过程。收集各个column的统计数据代码同dictionary index。再次遍历，按行处理每列的索引iterator复位// Build the indexrecordReader.rewind();重新遍历，对每行索引LOGGER.info("Start building Ind

2016-04-12 23:58:37 798

原创 RoaringBitmap简析

更新: RoaringBitmap源码分析一(AND操作)Bitmap索引在数据库和搜索引擎里使用的很广泛。最近发现几个实时OLAP分析引擎，比如Druid和Pinot也都在用，所以深入研究了一下。这两个OLAP引擎都使用RoaringBitmap，这是一种压缩的、高效的bitmap索引。代码很精妙，看得很过瘾。Bitmap索引一般用来存储整数。整数的范围是0～2^32-1。所以如果用最朴素的思想，

2016-03-27 14:51:05 18355 4

原创 Pinot中的Dictionary Index源码分析

Pinot中的Dictionary IndexPinot有几种index，包括dictionary index，forward index，和inverted index。这几种index的联合使用可以实现快速OLAP查询。Dictionary index是最简单的index，并且也为其他两种index提供基础数据。下面以Quickstart中的代码为例简单描述一下dictionary index的

2016-03-20 21:17:09 748

xywtalk的博客