经典 Learned Index 结构设计及其应用

已于 2023-11-21 10:33:05 修改
阅读量1.3k 收藏 11
点赞数 1
文章标签： 机器学习 算法 人工智能 数据库
于 2023-04-26 17:33:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44026604/article/details/130390902
版权

引言

学习索引是一种新型的索引结构，可以帮助数据库更快地查找数据。学习索引的诞生可以追溯到 2017 年，由 Google Brain 团队的 Kraska 等人在论文[1]中首次提出,探讨了使用神经网络替代传统数据结构（如 B-Tree）来构建索引的可行性。其工作方式是通过机器学习算法学习数据分布规律，构建一个能够预测数据位置的函数。当需要查找某个数据时，只需要使用这个函数预测出数据的位置，然后直接访问即可，而不需要在整个数据集中进行搜索。因此，学习索引可以大大提高数据的访问速度，减少搜索时间。不仅如此，学习索引只需要存储习得的参数，不需要存储大量的内部卫星节点，显著地降低了存储空间地占用，这对于大规模数据存储和处理都非常有帮助。

在这几年里，学习索引的研究受到了广泛的关注和讨论。研究人员在模型的训练和优化、索引结构的设计和实现等方面做出了许多创新和改进。本篇聚焦学习索引结构设计，为读者归纳近几年知名会议或期刊上的学习索引结构，希望能对这方面的研究者有所启发和帮助。

RMI（开山鼻祖）[1]

RMI 全名叫 Recursive Model Indexing，是一种经典的模型，由 Kraska 等人在 2018 年 SIGMOD 提出。RMI 模型是一种递归模型，它的主要思想是将数据集分成若干个子集（每个子集包含的数据量相等），并对每个子集训练一个能够预测数据位置的模型。这些模型被组织成一个树形结构，根节点是一个能够将查询分配到子集中的路由模型，叶节点则是最终的预测模型（集成学习的思想）。当需要查询数据时，RMI 模型使用路由模型将查询分配到合适的子集中，然后在该子集中使用相应的预测模型进行数据查找。
RMI 模型具有较高的预测精度和较快的查询速度。但是，RMI 训练需要大量的时间和计算资源，同时，不支持实时的更新和写入（需要重新训练模型）。

代码仓库：https://github.com/learnedsystems/RMI（作者开源）

FITing-Tree[2]

FITing-Tree 使用了 Linear Model 来拟合底层的数据分布，采用了 Bottom-Up 的方式建立索引。其整体的思想是保留了 B+树的内部节点（作为导航），把叶子节点替换成学习模型，不存储实际数据，而是存储学习模型的参数。因此，极大地降低了索引的存储开销。FITing-Tree 支持插入，其方式是在每个 Segment 内存储一个缓冲区，当缓冲区满，删除过时的 Segment，插入新的 Segment。从这篇工作以后，Linear Model 成为学习索引模型的首选（性能好、开销小）。

代码仓库：https://github.com/JiananYuan/FITing-Tree（民间实现）

ALEX[3]

ALEX 专门为了解决 RMI 学习索引不支持高效插入而设计。ALEX 的基本思想是在内部节点和叶子节点使用学习模型，并留了空隙（Gapped Array，简称 GA，scatter in node，而不是像 B+树那样，全部空隙都推到了后面）。在插入的时候，这些 GA 对于插入的数据有良好的“吸收”性能。当 GA 数量不足时，ALEX 会采取一定的方式进行节点调整。ALEX 是目前整体性能都比较好的学习索引之一，其代码设计也非常值得学习。

代码仓库：https://github.com/microsoft/ALEX（作者开源）

LIPP[4]

LIPP 基本结构类似 ALEX，但其设计的 insight 是：学习索引的“最后一公里”查询是查询瓶颈之一。LIPP 的基本思想是：只要计算得出 key 的预测值 pos，那么 key 就一定存在 array[pos]这个位置，不需要在上下误差界限内进行 the last mile search。当然，这种方法也有一定代价：在插入数据时，如果预测位置已有数据，需要触发节点调整。

代码仓库：https://github.com/Jiacheng-WU/lipp（作者开源）

PGM[5]

PGM 的基本节点单元使用 Linear Model，采用 Bottom-Up 的构建方式，上一层对下一层的代表数据（每个 Segment 的起始点）递归地使用线性回归来构建索引树，其插入采用了类似 LSM 层次合并的思想来设计。

代码仓库：https://github.com/gvinciguerra/PGM-index（作者开源）

RadixSpline[6]

样条回归也是拟合数据的一种方式。RS 索引是一种构建时间复杂度为 O(n)的结构，只需要从前往后扫描待索引的数据，索引即可建立。RS 模型会从前往后，计算出哪两个数据之间的全部数据，可以被端点数据用 spline 拟合，个人理解有点像数据蒸馏（图中蓝点）。接着，为了进一步加快在所有 spline points 检索到目标 point 的速度，添加了 Radix 表（前缀表），根据数据的前 prefix 位，定位到候选 spline points 的起始和终止位置。查询时，提取 key 的前 prefix 位，在起止 spline points 之间查询得到可能包含 key 的样条，再通过计算得到 key 的大致存储位置。

代码仓库：https://github.com/learnedsystems/RadixSpline（作者开源）

HERMIT[7]

HERMIT 被设计用于处理表格中大量列的索引，当这些列之间存在高度相关性时，索引存储开销变得不可忽视。HERMIT 的核心结构是 TRS-Tree，是一种基于树的索引结构，这种结构可以将一个列上面的数据映射到另外具有相关性的一列上面。TRS-Tree 避免了建立二级索引带来的存储开销，因其基于列相关性使用了轻量级的学习模型来替代重量级的传统节点。但其查询性能，尤其是点查询性能，却可能比基线（B+树）还差。

代码仓库：无开源

总的来说，目前学习索引的结构很大程度被限定在线性回归模型里面，没有见到其他行之有效的学习模型来替换。更多的工作是在如何组织这些训练出来的线性模型下功夫，抑或是将已有结构稍作变化或不做变化，应用在某个场景下，在查询性能或存储开销取得了优良的性能。典型论文如下但不局限于下文（以下代码仓库均为作者开源）：

和 LSM-tree 结合

  • OSDI 20：From WiscKey to Bourbon: A Learned Index for Log-Structured Merge Trees

    代码仓库：https://bitbucket.org/daiyifandanny/learned-leveldb/src/master/

支持 String

  • ApSys 20：SIndex: A Scalable Learned Index for String Keys

    代码仓库：https://ipads.se.sjtu.edu.cn:1312/opensource/xindex/-/tree/sindex

并行并发/分布式/RDMA

  • OSDI 20：Fast RDMA-based Ordered Key-Value Store using Remote Learned Cache

    代码仓库：https://github.com/SJTU-IPADS/xstore

  • FAST 23：ROLEX: A Scalable RDMA-oriented Learned Key-Value Store for Disaggregated Memory Systems

    代码仓库：https://github.com/iotlpf/ROLEX

  • PPoPP 20：XIndex: A Scalable Learned Index for Multicore Data Storage

    代码仓库：https://ipads.se.sjtu.edu.cn:1312/opensource/xindex

新型存储

  • VLDB 16(2)：PLIN: A Persistent Learned Index for Non-Volatile Memory with High Performance and Instant Recovery

    代码仓库：https://github.com/tawnysky/PLIN

  • VLDB 15(3)：APEX: A High-Performance Learned Index on Persistent Memory，APEX 主要基于 ALEX 适配持久内存

    代码仓库：https://github.com/baotonglu/apex

传统赛道打出新花样

  • ASPLOS 23：LeaFTL: A Learning-Based Flash Translation Layer for Solid-State Drives

    代码仓库：https://github.com/platformxlab/LeaFTL

尾注

本片所述 learned index 的结构不涉及多维索引结构。

参考文献

[1] Kraska T, Beutel A, Chi E H, et al. The case for learned index structures[C]//Proceedings of the 2018 international conference on management of data. 2018: 489-504.

[2] Galakatos A, Markovitch M, Binnig C, et al. Fiting-tree: A data-aware index structure[C]//Proceedings of the 2019 International Conference on Management of Data. 2019: 1189-1206.

[3] Ding J, Minhas U F, Yu J, et al. ALEX: an updatable adaptive learned index[C]//Proceedings of the 2020 ACM SIGMOD International Conference on Management of Data. 2020: 969-984.

[4] Wu J, Zhang Y, Chen S, et al. Updatable Learned Index with Precise Positions. Proceedings of the VLDB Endowment, 2021, 14(8): 1276-1288.

[5] Ferragina P, Vinciguerra G. The PGM-index: a fully-dynamic compressed learned index with provable worst-case bounds[J]. Proceedings of the VLDB Endowment, 2020, 13(8): 1162-1175.

[6] Kipf A, Marcus R, van Renen A, et al. RadixSpline: a single-pass learned index[C]//Proceedings of the third international workshop on exploiting artificial intelligence techniques for data management. 2020: 1-5.

[7] Wu Y, Yu J, Tian Y, et al. Designing succinct secondary indexing mechanism by exploiting column correlations[C]//Proceedings of the 2019 International Conference on Management of Data. 2019: 1223-1240.

在这里插入图片描述

AndyZzz~
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Jeff Dean的Learned Index为数据库索引带来了哪些启发1
nosqlnotes的博客
03-09 2551
这篇论文在两个月前刚被公布出来的时候，因为带着Jeff Dean的署名曾一度被热传，但直到今天才认真读完这篇论文。Learned Index基于机器学习的方法，对传统数据库索引做了改造。本文先介绍Learned Index的RM-Index模型以及与B-Tree索引的对比。如论文开篇所言，可以将传统的数据库索引(Index)视为一种模型(Model)：B-Tree索引B-Tree索引模型将一个Ke...
Learned Index: A Comprehensive Experimental Evaluation
小蚂蚁与大象
04-30 142
为了解决这些问题，本文详细回顾了现有的学习索引，并讨论了学习索引中关键组件的设计选择，包括键查找(预测键位置的位置推断，如果预测的位置不正确则重新搜索位置的位置优化)，键插入，并发和批量加载。然而，像XIndex和FINEdex这样的学习索引获得了较大的索引大小和较高的插入/查找延迟，因为它们使用额外的空间(例如，对级缓冲区)来支持并发操作，这可能会减慢插入/查找操作，因为搜索同时涉及索引和缓冲区。此外，对于高度倾斜的插入数据，学习索引的插入性能下降很大，而传统索引的插入性能更稳定。
b+树，learning index
11-29
## A C++11 implementation of the B-Tree part of "The Case for Learned Index Structures" A research **proof of concept** that implements the B-Tree section of [The Case for Learned Index Structures](https://arxiv.org/pdf/1712.01208.pdf) paper in C++. The general design is to have a single lookup structure that you can parameterize with a KeyType and a ValueType, and an overflow list that keeps new inserts until you retrain. There is a value in the constructor of the RMI that triggers a retrain when the overflow array reaches a certain size. The basic API: ```c++ // [first/second]StageParams are network parameters int maxAllowedError = 256; int maxBufferBeforeRetrain = 10001; auto modelIndex = RecursiveModelIndex recursiveModelIndex(firstStageParams, secondStageParams, maxAllowedError, maxBufferBeforeRetrain); for (int ii = 0; ii < 10000; ++ii) { modelIndex.insert(ii, ii * 2); } // Since we still have one more insert before retraining, retrain before searching... modelIndex.train(); auto result = modelIndex.find(5); if (result) { std::cout << "Yay! We got: " << result.get().first << ", " << result.get().second << std::endl; } else { std::cout << "Value not found." << std::endl; // This shouldn't happen in the above usage... } ``` See [src/main.cpp](src/main.cpp) for a usage example where it stores scaled log normal data. ### Dependencies - [nn_cpp](https://github.com/bcaine/nn_cpp) - Eigen based minimalistic C++ Neural Network library - [cpp-btree](https://code.google.com/archive/p/cpp-btree/) - A fast C++ implementation of a B+ Tree ### TODO: - Lots of code cleanup - Profiling of where the slowdowns are. On small tests, the cpp_btree lib beats it by 10-100x - Eigen::TensorFixed in nn_cpp would definitel
Learned Index on GPU（ICDE2022）
小蚂蚁与大象
08-03 274
3) GPU具有层次化的存储空间和独特的高效访存方式，因此需要考虑当前学习到的索引结构在GPU体系结构中的适应性。阅读者总结：这篇论文的核心是将GPU和PGM-index结合起来，总体上更加偏向工程实现，在学习索引的设计上明显地没有看出什么新颖点，当然了GPU是适合并发线程的计算过程，加速查询，但是这学习索引问题本身的解决上 没有什么多的贡献。根据近年来对学习索引的研究，提出了一种将GPU和学习索引的优势相结合的新思路，将学习索引放在GPU内存中，充分利用GPU的高并发和计算能力。...
Reinforcement Learning Index Page
weixin_30344795的博客
07-12 81
Reinforcement Learning Posts Step-by-step from Markov Property to Markov Decision Process Markov Decision Process in Detail Optimal Value Function and Optimal Policy Dynamic Programming an...
【MDM ‘19】Learned Index for Spatial Queries
念诚的备忘录
02-19 454
我们探索了通过学习数据分布（Distribution）来构建空间索引结构的潜力。我们设计了一种新的数据驱动的空间索引结构，即 *Learned Z-order Model*（ZM）索引，它结合了 Z-order 空间填充曲线和多阶段\*（Staged）学习模型。
An Updatable Adaptive Learned Index论文及源码
04-01
ALEX论文及源码及Github上download的下来的源码，给有需要的同学进行下载学习
The case for learned index structures-2018sigmod.pdf
09-03
传统的索引结构，如B-Tree、Hash-Index和BitMap-Index，各自有其独特的功能和适用场景：B-Tree适用于范围查询，通过有序排列键值来快速定位记录；Hash-Index则在单个键查找时表现出色，通过哈希函数实现快速映射；而...
The Case for Learned Index Structures
01-26
The Case for Learned Index Structures，The Case for Learned Index Structures
DC-DC 电源电路设计考虑2
08-27
在设计DC-DC电源电路时，工程师们需要关注多个关键因素以确保电源的高效、稳定和低噪声。本文是关于电源设计的第...在设计过程中，将经验总结为Lesson Learned和Check List格式，有助于提升设计质量和产品评审的效率。
C-CPP-pointer-lessons-learned.zip_Lessons Learned
09-24
在C和C++编程语言中，指针是一个至关重要的概念，它允许我们直接操作内存，提供了高效的数据处理和复杂的程序设计可能性。"C-CPP-pointer-lessons-learned.zip_Lessons Learned"这个压缩包文件显然是为了帮助学习者...
LIFT Learned Invariant Feature Transform
05-03
深度学习应用到局部特征点匹配佳作，可以说是一个开天辟地的论文。具体自己看！ 这个最少是两个积分，没办法！！
VDA_Lessons Learned_2018_德文.rar
最新发布
08-29
标题中的“VDA_Lessons Learned_2018_德文.rar”表明这是一个关于VDA（德国汽车工业协会）在2018年积累的经验教训的压缩文件，且内容是用德语编写的。VDA是德国汽车行业的重要组织，其发布的资料通常涉及汽车制造、...
AutoLayout-Learned
03-09
如果您在具有不同宽高比的屏幕上运行该应用程序，或者尝试将其变为横向，则设计看起来会很破损。 自动布局允许我们设置有关如何显示视图的规则。 由于移动屏幕的分辨率和大小不同，因此我们需要这些规则来告诉...
软件综合项目管理概要设计项目说明指导书.doc
12-17
软件综合项目管理概要设计项目说明指导书 本文档提供了一份软件综合项目管理概要设计项目说明指导书，旨在帮助项目经理和团队成员更好地理解和实施软件项目管理的各个方面。本指导书涵盖了项目管理的所有方面，包括...
【AI】深度学习索引 Deep Learning Index
北境の守望者
09-09 906
通过层次化的方法可以让计算机通过构建简单的概念来学习复杂概念. 为了获得优异的性能, 我们需要构建一个很深(层次很多)的关系图. 因此我们把这一类方法就做深度学习. 深度就是深度, 仅此而已. 简介 Intro 深度前馈网络 Deep Feedforward Network / 多层感知机 Multilayer Perceptron (MLP) 感知机 Perceptron 卷积神...
学习型索引结构---开山之作学习 The Case for Learned Index Structures
want_to_fly_的博客
07-06 1054
构建替代 B 树的替代学习模型的关键挑战之一是最后一英里的准确性。例如，使用单个模型把误差从 100M 减少到几百这个数量级是非常困难的。同时，将误差从 100M 降低到 10K，例如 100 * 100 = 10000 的精度实现起来还简单些，这样就可以用简单模型替换 B-Tree 的前两层。同样的，将误差从 10k 降低到 100 是一个更简单的问题，因为模型只需要关注数据的一个子集。提出递归回归模型(见图3)。
来给博客除草了：Learned Indexes for a Google-scale Disk-based Database
Andy
01-18 1156
论文研读：Google规模的基于磁盘的数据库的学习索引
论文笔记 - The Case For Learned Index Structures
weixin_34331102的博客
07-11 516
这篇 paper 的笔记实在是 delay 了好久= =，然而也没有读太细致，就大致浏览了几遍~ paper 地址 ⬇️ The Case For Learned Index Structures Introduction 当我们需要查询数据库中的某条数据时，这数据在数据库中的 index 就是我们想要的答案，数据库对我们的重要性不言而喻。 现有的索引结构中，B+ 树对于范围查询无疑是最佳的，哈希...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值