Jeff Dean的Learned Index为数据库索引带来了哪些启发2

最新推荐文章于 2024-09-12 08:20:54 发布
最新推荐文章于 2024-09-12 08:20:54 发布
阅读量1.9k 收藏 4
点赞数 2
分类专栏： 索引技术 文章标签： 索引技术 Learned Index
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nosqlnotes/article/details/79496060
版权
本文探讨了Learned Index如何改进RM-Index、Hash索引和Bloom Filter索引，以降低空间占用并优化查询性能。尽管Learned Index在某些场景下可能牺牲查询速度，但它为数据库索引提供了新思路，尤其是在Read-Only的OLAP查询任务中。未来，Learned Index有望使数据库索引更智能和高效。
摘要由CSDN通过智能技术生成

本文继续讨论Recursive Model Index(RM-Index)索引更新涉及的相关问题，以及Learned Index对Hash索引以及Bloom Filter索引如何进行改造来降低索引占用空间。


RM-Index索引的更新

上篇文章中关于RM-Index的设计以及与B-Tree索引的对比测试结果，主要针对只读场景的内存型数据库系统，也可以应用于更新频率较低的数据仓库系统中，对于Bigtable而言，每一个SSTable都是当内存中的数据积累了一定量之后才生成的，也可应用RM-Index的思路来优化现有的B-Tree索引。

数据更新包括两种情形：

  • appends 在现有数据集合的尾端进行appends
  • inserts 在现有数据集合的中间进行inserts

通常，对于inserts场景，新的数据应该基本遵循已有的数据分布特点的，因此，原来的模型不需要重新进行训练。而对于appends场景

最低0.47元/天 解锁文章
NoSQL漫谈
关注
专栏目录
Jeff Dean的Learned Index为数据库索引带来了哪些启发1
nosqlnotes的博客
03-09 2591
这篇论文在两个月前刚被公布出来的时候，因为带着Jeff Dean的署名曾一度被热传，但直到今天才认真读完这篇论文。Learned Index基于机器学习的方法，对传统数据库索引做了改造。本文先介绍Learned Index的RM-Index模型以及与B-Tree索引的对比。如论文开篇所言，可以将传统的数据库索引(Index)视为一种模型(Model)：B-Tree索引B-Tree索引模型将一个Ke...
Learned Index: A Comprehensive Experimental Evaluation
小蚂蚁与大象
04-30 181
为了解决这些问题，本文详细回顾了现有的学习索引，并讨论了学习索引中关键组件的设计选择，包括键查找(预测键位置的位置推断，如果预测的位置不正确则重新搜索位置的位置优化)，键插入，并发和批量加载。然而，像XIndex和FINEdex这样的学习索引获得了较大的索引大小和较高的插入/查找延迟，因为它们使用额外的空间(例如，对级缓冲区)来支持并发操作，这可能会减慢插入/查找操作，因为搜索同时涉及索引和缓冲区。此外，对于高度倾斜的插入数据，学习索引的插入性能下降很大，而传统索引的插入性能更稳定。
b+树，learning index
11-29
## A C++11 implementation of the B-Tree part of "The Case for Learned Index Structures" A research **proof of concept** that implements the B-Tree section of [The Case for Learned Index Structures](https://arxiv.org/pdf/1712.01208.pdf) paper in C++. The general design is to have a single lookup structure that you can parameterize with a KeyType and a ValueType, and an overflow list that keeps new inserts until you retrain. There is a value in the constructor of the RMI that triggers a retrain when the overflow array reaches a certain size. The basic API: ```c++ // [first/second]StageParams are network parameters int maxAllowedError = 256; int maxBufferBeforeRetrain = 10001; auto modelIndex = RecursiveModelIndex recursiveModelIndex(firstStageParams, secondStageParams, maxAllowedError, maxBufferBeforeRetrain); for (int ii = 0; ii < 10000; ++ii) { modelIndex.insert(ii, ii * 2); } // Since we still have one more insert before retraining, retrain before searching... modelIndex.train(); auto result = modelIndex.find(5); if (result) { std::cout << "Yay! We got: " << result.get().first << ", " << result.get().second << std::endl; } else { std::cout << "Value not found." << std::endl; // This shouldn't happen in the above usage... } ``` See [src/main.cpp](src/main.cpp) for a usage example where it stores scaled log normal data. ### Dependencies - [nn_cpp](https://github.com/bcaine/nn_cpp) - Eigen based minimalistic C++ Neural Network library - [cpp-btree](https://code.google.com/archive/p/cpp-btree/) - A fast C++ implementation of a B+ Tree ### TODO: - Lots of code cleanup - Profiling of where the slowdowns are. On small tests, the cpp_btree lib beats it by 10-100x - Eigen::TensorFixed in nn_cpp would definitel
推荐文章：探索数据检索新境界 —— 深入理解Recursive Model Indexes
最新发布
gitblog_00584的博客
09-12 428
推荐文章：探索数据检索新境界 —— 深入理解Recursive Model Indexes analysis-rmi 项目地址: https://gitcode.com/gh_mirrors/an/analysis-rmi ...
来给博客除草了：Learned Indexes for a Google-scale Disk-based Database
Andy
01-18 1205
论文研读：Google规模的基于磁盘的数据库的学习索引
经典 Learned Index 结构设计及其应用
Andy
04-26 1629
其整体的思想是保留了 B+树的内部节点（作为导航），把叶子节点替换成学习模型，不存储实际数据，而是存储学习模型的参数。更多的工作是在如何组织这些训练出来的线性模型下功夫，抑或是将已有结构稍作变化或不做变化，应用在某个场景下，在查询性能或存储开销取得了优良的性能。PGM 的基本节点单元使用 Linear Model，采用 Bottom-Up 的构建方式，上一层对下一层的代表数据（每个 Segment 的起始点）递归地使用线性回归来构建索引树，其插入采用了类似 LSM 层次合并的思想来设计。
jeff dean大神本科学位论文
01-17
Jeff Dean本科学位论文，阐述了分布式ANN训练方案。对后续Tensor flow有参考。
interactive_latencies:杰夫·迪恩（Jeff Dean）的等待时间数随时间变化
05-01
《interactive_latencies: 杰夫·迪恩（Jeff Dean）的等待时间数随时间变化》 在IT领域，性能优化是提升用户体验的关键因素之一。"interactive_latencies"项目由杰夫·迪恩（Jeff Dean）提出，他是一位知名的Google...
Learned Index on GPU（ICDE2022）
小蚂蚁与大象
08-03 326
3) GPU具有层次化的存储空间和独特的高效访存方式，因此需要考虑当前学习到的索引结构在GPU体系结构中的适应性。阅读者总结：这篇论文的核心是将GPU和PGM-index结合起来，总体上更加偏向工程实现，在学习索引的设计上明显地没有看出什么新颖点，当然了GPU是适合并发线程的计算过程，加速查询，但是这学习索引问题本身的解决上 没有什么多的贡献。根据近年来对学习索引的研究，提出了一种将GPU和学习索引的优势相结合的新思路，将学习索引放在GPU内存中，充分利用GPU的高并发和计算能力。...
Tim karaska-The Case for Learned Index Structures-arXiv整理
park_is_going_to_be_的博客
01-08 1142
The Case for Learned Index Structures
01-26
The Case for Learned Index Structures，The Case for Learned Index Structures
【MDM ‘19】Learned Index for Spatial Queries
念诚的备忘录
02-19 481
我们探索了通过学习数据分布（Distribution）来构建空间索引结构的潜力。我们设计了一种新的数据驱动的空间索引结构，即 *Learned Z-order Model*（ZM）索引，它结合了 Z-order 空间填充曲线和多阶段\*（Staged）学习模型。
学习型索引结构---开山之作学习 The Case for Learned Index Structures
want_to_fly_的博客
07-06 1513
构建替代 B 树的替代学习模型的关键挑战之一是最后一英里的准确性。例如，使用单个模型把误差从 100M 减少到几百这个数量级是非常困难的。同时，将误差从 100M 降低到 10K，例如 100 * 100 = 10000 的精度实现起来还简单些，这样就可以用简单模型替换 B-Tree 的前两层。同样的，将误差从 10k 降低到 100 是一个更简单的问题，因为模型只需要关注数据的一个子集。提出递归回归模型(见图3)。
论文笔记 - The Case For Learned Index Structures
weixin_34331102的博客
07-11 533
这篇 paper 的笔记实在是 delay 了好久= =，然而也没有读太细致，就大致浏览了几遍~ paper 地址 ⬇️ The Case For Learned Index Structures Introduction 当我们需要查询数据库中的某条数据时，这数据在数据库中的 index 就是我们想要的答案，数据库对我们的重要性不言而喻。 现有的索引结构中，B+ 树对于范围查询无疑是最佳的，哈希...
Benchmarking Learned Indexes(VLDB2021)
小蚂蚁与大象
06-11 483
最近学习索引结构的进步建议用近似学习模型来替代现有的索引结构，比如b树。在这项工作中，我们提出了一个统一的基准，它将三种已经学习过的索引结构的优化实现与几种最先进的传统基准进行比较。通过使用四个真实的数据集，我们证明了在内存中只读工作负载下，学习索引结构在密集数组上的性能确实优于非学习索引。我们研究了缓存、流水线、数据集大小和密钥大小的影响。我们研究了学习的索引结构的性能，并建立了一个解释为什么学习的模型能取得如此好的性能。最后，我们研究了学习索引结构的其他重要特性，例如它们在多线程系统中的性能和构建时间。
探索Learned-Indexes：数据索引的新纪元
gitblog_00034的博客
03-31 323
探索Learned-Indexes：数据索引的新纪元 Learned-IndexesImplementation of BTree part for paper 'The Case for Learned Index Structures'项目地址:https://gitcode.com/gh_mirrors/le/Learned-Indexes 在大数据和高性能计算的时代，数据库性能优化一直...
机器学习如何影响系统设计：Learned Index Structures浅析
内核工匠
03-19 1517
从刷脸打卡到各种应用的“猜你喜欢”，当前机器学习（特别是深度学习技术）已经广泛应用于我们日常生活的方方面面。深度学习框架（如：TensorFlow，PyTorch等）和 AI专用芯片（如：...
The Case for Learned Index Structures-arXiv 论文笔记 更新中
y912423222的博客
10-08 1420
2018 最值得读的论文之一，开辟了利用神经网络NN的方式，来让大家熟知的B-Tree，Hashing table 甚至Bloom Fileter 更有效率的检索。   摘要： 索引模式一般分为三种，B-树索引，针对已经存分好类的数组进行关键字索引；哈希索引，基于未分类的数据索引；位图索引，来指示数据记录是否存在。 1 Introduction 在本文中，我们探讨了学习模型（包括神经网络...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值