Jeff Dean的Learned Index为数据库索引带来了哪些启发1

最新推荐文章于 2024-07-06 23:26:40 发布
最新推荐文章于 2024-07-06 23:26:40 发布
阅读量2.5k 收藏 4
点赞数 1
分类专栏： 索引技术 文章标签： 索引技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nosqlnotes/article/details/79496039
版权
Learned Index是一种利用机器学习优化传统数据库索引的技术，通过掌握数据分布特性，改进B-Tree Index，实现更快的查询速度和更高的存储效率。在测试中，相对于B-Tree，Learned Index的RM-Index模型性能提升60%~70%，存储空间节省高达99%。这种递归模型考虑了全局数据分布，并通过有限步迭代定位数据，降低了错误率。
摘要由CSDN通过智能技术生成

这篇论文在两个月前刚被公布出来的时候，因为带着Jeff Dean的署名曾一度被热传，但直到今天才认真读完这篇论文。Learned Index基于机器学习的方法，对传统数据库索引做了改造。本文先介绍Learned Index的RM-Index模型以及与B-Tree索引的对比。


如论文开篇所言，可以将传统的数据库索引(Index)视为一种模型(Model)：

  • B-Tree索引B-Tree索引模型将一个Key映射到一个排序数组中的某位置所对应的记录
  • Hash索引Hash索引模型将一个Key映射到一个无序数组中的某位置所对应的记录
  • Bitmap索引Bitmap索引模型用来判断一条记录是否存在
最低0.47元/天 解锁文章
NoSQL漫谈
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Jeff Dean的Learned Index为数据库索引带来了哪些启发2
nosqlnotes的博客
03-09 1883
本文继续讨论Recursive Model Index(RM-Index)索引更新涉及的相关问题，以及Learned Index对Hash索引以及Bloom Filter索引如何进行改造来降低索引占用空间。RM-Index索引的更新上篇文章中关于RM-Index的设计以及与B-Tree索引的对比测试结果，主要针对只读场景的内存型数据库系统，也可以应用于更新频率较低的数据仓库系统中，对于Bigtab...
Learned Index: A Comprehensive Experimental Evaluation
小蚂蚁与大象
04-30 144
为了解决这些问题，本文详细回顾了现有的学习索引，并讨论了学习索引中关键组件的设计选择，包括键查找(预测键位置的位置推断，如果预测的位置不正确则重新搜索位置的位置优化)，键插入，并发和批量加载。然而，像XIndex和FINEdex这样的学习索引获得了较大的索引大小和较高的插入/查找延迟，因为它们使用额外的空间(例如，对级缓冲区)来支持并发操作，这可能会减慢插入/查找操作，因为搜索同时涉及索引和缓冲区。此外，对于高度倾斜的插入数据，学习索引的插入性能下降很大，而传统索引的插入性能更稳定。
学习型索引结构--ALEX: An Updatable Adaptive Learned Index 论文代码复现记录（基于VS2022）
最新发布
Fuxiao___的博客
07-06 968
记录了运行ALEX索引的论文代码的过程
学习型索引结构---开山之作学习 The Case for Learned Index Structures
want_to_fly_的博客
07-06 1093
构建替代 B 树的替代学习模型的关键挑战之一是最后一英里的准确性。例如，使用单个模型把误差从 100M 减少到几百这个数量级是非常困难的。同时，将误差从 100M 降低到 10K，例如 100 * 100 = 10000 的精度实现起来还简单些，这样就可以用简单模型替换 B-Tree 的前两层。同样的，将误差从 10k 降低到 100 是一个更简单的问题，因为模型只需要关注数据的一个子集。提出递归回归模型(见图3)。
b+树，learning index
11-29
## A C++11 implementation of the B-Tree part of "The Case for Learned Index Structures" A research **proof of concept** that implements the B-Tree section of [The Case for Learned Index Structures](https://arxiv.org/pdf/1712.01208.pdf) paper in C++. The general design is to have a single lookup structure that you can parameterize with a KeyType and a ValueType, and an overflow list that keeps new inserts until you retrain. There is a value in the constructor of the RMI that triggers a retrain when the overflow array reaches a certain size. The basic API: ```c++ // [first/second]StageParams are network parameters int maxAllowedError = 256; int maxBufferBeforeRetrain = 10001; auto modelIndex = RecursiveModelIndex recursiveModelIndex(firstStageParams, secondStageParams, maxAllowedError, maxBufferBeforeRetrain); for (int ii = 0; ii < 10000; ++ii) { modelIndex.insert(ii, ii * 2); } // Since we still have one more insert before retraining, retrain before searching... modelIndex.train(); auto result = modelIndex.find(5); if (result) { std::cout << "Yay! We got: " << result.get().first << ", " << result.get().second << std::endl; } else { std::cout << "Value not found." << std::endl; // This shouldn't happen in the above usage... } ``` See [src/main.cpp](src/main.cpp) for a usage example where it stores scaled log normal data. ### Dependencies - [nn_cpp](https://github.com/bcaine/nn_cpp) - Eigen based minimalistic C++ Neural Network library - [cpp-btree](https://code.google.com/archive/p/cpp-btree/) - A fast C++ implementation of a B+ Tree ### TODO: - Lots of code cleanup - Profiling of where the slowdowns are. On small tests, the cpp_btree lib beats it by 10-100x - Eigen::TensorFixed in nn_cpp would definitel
Learned Index on GPU（ICDE2022）
小蚂蚁与大象
08-03 276
3) GPU具有层次化的存储空间和独特的高效访存方式，因此需要考虑当前学习到的索引结构在GPU体系结构中的适应性。阅读者总结：这篇论文的核心是将GPU和PGM-index结合起来，总体上更加偏向工程实现，在学习索引的设计上明显地没有看出什么新颖点，当然了GPU是适合并发线程的计算过程，加速查询，但是这学习索引问题本身的解决上 没有什么多的贡献。根据近年来对学习索引的研究，提出了一种将GPU和学习索引的优势相结合的新思路，将学习索引放在GPU内存中，充分利用GPU的高并发和计算能力。...
The tail at scale by jeff dean
07-18
dean 大神 写的关于大规模服务系统的设计思路，来自于google实践，不得不看
jeff dean大神本科学位论文
01-17
Jeff Dean本科学位论文，阐述了分布式ANN训练方案。对后续Tensor flow有参考。
jeff dean 的讲稿
09-01
杰夫·迪恩（Jeff Dean）的演讲稿深入探讨了构建大规模分布式系统的设计、教训与建议，这份资料堪称是IT领域内精华中的精华。作为谷歌的一位资深研究员，Jeff Dean在分布式计算领域的经验和见解对业界有着深远的影响...
Jeff Dean - Large Scale Deep Learning with TensorFlow
05-25
### Jeff Dean - 大规模深度学习与TensorFlow #### 背景介绍 Jeff Dean是一位在人工智能领域享有盛誉的专家，他在Google Brain团队中担任重要角色。本篇演讲主要聚焦于利用大规模数据集和计算资源推动神经网络技术...
2016 ScaledML会议演讲合辑：谷歌Jeff Dean讲解TensorFlow，微软陆奇解读FPGA（附PPT）
08-06
在2016年的Scaled Machine Learning (ScaledML)会议上，两位业界巨擘——谷歌的Jeff Dean和微软的陆奇——带来了关于最新技术的精彩演讲。这次会议的重点是探讨大规模机器学习的发展与应用，特别是深度学习领域的...
The Case for Learned Index Structures
01-26
The Case for Learned Index Structures，The Case for Learned Index Structures
【MDM ‘19】Learned Index for Spatial Queries
念诚的备忘录
02-19 455
我们探索了通过学习数据分布（Distribution）来构建空间索引结构的潜力。我们设计了一种新的数据驱动的空间索引结构，即 *Learned Z-order Model*（ZM）索引，它结合了 Z-order 空间填充曲线和多阶段\*（Staged）学习模型。
来给博客除草了：Learned Indexes for a Google-scale Disk-based Database
Andy
01-18 1164
论文研读：Google规模的基于磁盘的数据库的学习索引
论文笔记 - The Case For Learned Index Structures
weixin_34331102的博客
07-11 517
这篇 paper 的笔记实在是 delay 了好久= =，然而也没有读太细致，就大致浏览了几遍~ paper 地址 ⬇️ The Case For Learned Index Structures Introduction 当我们需要查询数据库中的某条数据时，这数据在数据库中的 index 就是我们想要的答案，数据库对我们的重要性不言而喻。 现有的索引结构中，B+ 树对于范围查询无疑是最佳的，哈希...
经典 Learned Index 结构设计及其应用
Andy
04-26 1347
其整体的思想是保留了 B+树的内部节点（作为导航），把叶子节点替换成学习模型，不存储实际数据，而是存储学习模型的参数。更多的工作是在如何组织这些训练出来的线性模型下功夫，抑或是将已有结构稍作变化或不做变化，应用在某个场景下，在查询性能或存储开销取得了优良的性能。PGM 的基本节点单元使用 Linear Model，采用 Bottom-Up 的构建方式，上一层对下一层的代表数据（每个 Segment 的起始点）递归地使用线性回归来构建索引树，其插入采用了类似 LSM 层次合并的思想来设计。
Indices Matter: Learning to Index for Deep Image Matting
weixin_45193950的博客
10-28 658
目录segmentation和mattingimage segmentationimage matting比较 会议：ICCV-2019 论文：Indices Matter: Learning to Index for Deep Image Matting 官方Codes： https://github.com/poppinace/indexnet_matting 数据集：Adobe Image Matting Dataset，alphamatting.com segmentation和matting im
Tim karaska-The Case for Learned Index Structures-arXiv整理
park_is_going_to_be_的博客
01-08 1124
机器学习如何影响系统设计：Learned Index Structures浅析
内核工匠
03-19 1424
从刷脸打卡到各种应用的“猜你喜欢”，当前机器学习（特别是深度学习技术）已经广泛应用于我们日常生活的方方面面。深度学习框架（如：TensorFlow，PyTorch等）和 AI专用芯片（如：...
Jeff Dean在2013年斯坦福技术讲座：大数据与计算挑战
首先，Jeff Dean强调了Google在全球范围内拥有众多数据中心的重要性，这些数据中心分布广泛，为处理海量数据提供了基础设施。他着重讲述了Google的计算环境，包括其复杂而高效的架构，如搜索引擎的前端服务，从用户...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值