超大数据下大批量随机键值的查询优化方案

可阅读原文: http://c.raqsoft.com.cn/article/1536544293689?r=alice

一、问题描述

键值查询是很常见的查询场景，在数据表上建有索引后，即使表中数据记录数巨大（几亿甚至几十亿行），用键值查询出单条记录也会很快，因为建立索引后的复杂度只有 logN（以 2 为底）次， 10 亿行数据也只要比较 30 次（10 亿约等于 2^30），在现代计算机上也只需要数十毫秒而已。

不过，如果需要查询的键值很多，比如多达几千甚至几万的时候，如果每次都独立查找，那读取和比较也会累积到几万甚至几十万次，时间延迟由此也会涨到几十分钟甚至小时级别，这时候简单地使用数据库索引对于用户体验必然是难以容忍的了。

二、场景举例

下面我们要介绍的集算器组表功能，基于高性能索引和批量键值查找，可以有效地应对这种场景。我们会按照以下几种顺序逐步深入讨论：

1）单字段键

2）多字段键

3）多线程查询

4）数据追加的处理

我们以下表这种比较典型的数据结构为例：

字段名称	类型	是否主键	说明
id	long	是	从 1 开始自增
data	string		需要获取的数据

 

需要说明的，本文只研讨单机的情况，后续还有文章会继续深入讨论基于集群的方案。

作者：tossman
链接：http://c.raqsoft.com.cn/article/1536544293689?r=alice
来源：乾学院
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。