机器学习如何影响系统设计：Learned Index Structures浅析

最新推荐文章于 2023-08-01 15:54:36 发布
最新推荐文章于 2023-08-01 15:54:36 发布
阅读量1.3k 收藏 2
点赞数 1
文章标签： 数据结构 算法 python 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/feelabclihu/article/details/115019188
版权

从刷脸打卡到各种应用的“猜你喜欢”，当前机器学习（特别是深度学习技术）已经广泛应用于我们日常生活的方方面面。深度学习框架（如：TensorFlow，PyTorch等）和 AI专用芯片（如：TPU、NPU等）等软硬件系统的设计极大地提升了机器学习的性能并扩展了其应用场景。与此同时，机器学习方法本身可否用于优化计算机系统设计甚至是取代传统设计模式呢？谷歌技术大神Jeff Dean领导的研究小组在2018年的SIGMOD学术会议上发表了一个有趣的工作：The Case for Learned Index Structures [1] 。本文简要介绍了Learned Index Structures的实现和优缺点，希望可以给大家带来一些系统设计的启发和思路。

一、什么是Learned Index Structures？

Index（索引）是数据库、文件系统等领域常见的数据结构，最经典的莫过于B-Tree。B-Tree是一种范围索引（Range Index）数据结构，查询时给定一个key（或一些确定范围的keys），B-Tree会索引到包含该key的对应范围的叶子节点，在叶子节点内对key进行搜索。如果该key在索引中存在，就会得到其对应的位置。一般在一个逻辑页内的记录会用一个key来索引。如图1（a）所示，输入是一个key，输出是对应要查询记录的位置区间。除了范围索引，还有点索引（Point Index）如：哈希表（Hash Map），和存在索引（Existence Index）如：Bloom Filters，也都是常用的索引数据结构。Learned Index Structures的主要思想是将这里B-Tree或是Bloom Filters等数据结构替换为机器学习的模型——查找操作变成了根据key做索引数据位置的预测，如图1（b）所示。我们以范围索引为例，来详细介绍下Learned Index Structures的设计和实现思路。

图 1 B-Tree和Learned Index示意图

图1就是一个传统B-tree和Learned Index的对比。可以看到，Learned Index的输入是Key，输出是这个key对应的检索结果的位置（可能有误差），误差的上限是叶子节点一个数据页中的结果条目（即所需检索结果在数据页的末尾）。

那么针对范围索引，如何设计机器学习的模型呢？这里只考虑一维聚簇索引的情况（即数据是按照用于查找的key来排序的，非聚簇索引可以通过聚簇索引加一层到真实数据排列的指针实现），Learned Index Structures很巧妙的给出了如图2所示的洞察，索引位置实际上是随着Key增长而增长的单调递增函数。虽然具体的索引可能是离散的,整体上还是可以用一个函数来描述：

p = F(Key) * N

其中，p是估计得到的位置，N是索引Key的数量，F(key)是索引数据的累计分布函数（CDF）。F（key）的含义是小于等于key的索引数据条目总和（即key的位置估计）。本质上体现了数据集的分布特征。相比B-Tree的通用设计，Learned Index Structures考虑了数据集的内在分布特点并将其用于优化索引的结构。Learned Index误差上限可控，只需要在误差范围内根据预测的位置向左或向右二分查找即可准确找到查找目标。

图 2 索引位置的累计概率分布（CDF）

那么如何学习得到 F(Key) 呢？Learn Index Structures作者首先尝试了用TensorFlow搭建一个每层32个神经元，两层全连接的神经网络，使用一个web server日志的数据集训练后发现效果远差于B-Tree。问题在于：


1）TensorFlow是用于大规模神经网络的训练的，小规模场景的调用开销变得不可忽视。

2）欠拟合问题，如图2所示机器学习模型可以很好的估计CDF的整体趋势，但在单一数据项上很难得到精确的表示。而B-Tree可以简单高效的使用if语句精确划分范围，为了优化“最后一公里” 机器学习模型要付出较大的存储空间和计算资源消耗。

3）B-Tree的CPU和cache行为是经过高度优化设计的，每次查找只需使用少量索引。机器学习模型则需要使用全部参数权重完成一次预测。

最终Learn Index Structures的模型使用了如图3所示的Staged Model实现。每一个Model都可以是任意一个机器学习模型，从最简单的线性回归（LR）到深度神经网络（DNN）都可以。实践中，越简单的模型越好（避免查找时在模型上花太多时间）。当进行查找时，最上层的模型（只有一个模型），将选择一个第二层的模型来处理这个key。然后第二层的模型，会接着选择一个下一层的模型来处理这个key，直到最底层的模型，才会给出这个key对应的预测位置。但实际上上层每个模型输出的都是预测位置，这个预测被用于选择下层模型（模型id = (预测位置 / 记录总数) * 该层模型数）。

整个Staged Model分层训练，先训练最顶层，然后进行数据分发。数据分发指的是，上层模型将key预测到哪个下层Model，该Model就拥有这条训练数据作为他的训练集。所以随着层数的加深，以及每一层模型数量的提升，每个越底层模型拥有的训练数据是越少的。这样的优点是，底层模型可以非常容易的拟合这一部分数据的分布（缺点是较少的数据量带来了模型的选择限制，复杂模型没法收敛）。[1]中采用的结构是：只在顶层使用神经网络模型，在其余层使用线性回归模型。

图 3 用于Learned Index Structures的Staged Model

点索引和存在索引的Learned Index Structure 这里不再一一赘述，感兴趣的话可以阅读论文[1]，以及基于论文实现的RMI（Recursive Model Indexes）代码[2]。

二、如何评价Learned Index Structures？

总的来说，Learned Index Structures向我们展示了机器学习在系统领域的巨大潜力，但还存在诸多待解决的问题（如：过拟合、索引的增删改等问题）。对于过拟合，若新索引的key依然满足CDF则并不需要重新训练，直接insert到预测出来的位置即可。若数据分布会发生变化，则需要尝试在线学习（Online learning）的方法。对于数据更新频繁的系统，可采用delta-index技术增量更新learned index。

实际上，以Learned Index Structures为代表的机器学习优化方法并不是系统设计优化的终结者。比如spline B-tree [6] 使用B-tree的每个叶子节点只存一个spline（即key和其位置），两个spline之间的数据用两点之间的直线来预测。这样一个简单的数据结构，很多时候效果相当于复杂的Learn Index，甚至更好。在Point Index 领域，Learned Index通过减少冲突实现的优化可以被bucketized cuckoo hashing [7] 轻松打败，该方法只是简单的将每个key同时hash到两个bucket而已。

但这并不能否定机器学习在系统设计上的价值，通过机器学习可以启发系统设计的优化和思考，探索出之前未曾发现的系统设计思路。在优化原理清晰、场景固定的情况下，显然由人加以解释和重新实现在效率和稳定性上更胜机器学习方法一筹。在数据分布等特征动态变化的场景，机器学习方法可以针对性优化和适应数据特征，理论上可以优于通用的算法和数据结构。

三、机器学习+系统设计 = ？

也许Learned Index Structures还存在很多不足，但无法忽略的是将机器学习应用于计算机系统设计的趋势已经到来。如果说Learn Index Structures是机器学习打入计算机系统设计领域的一声炮响，2019年发布的机器学习系统白皮书 [5] 就是正式确立了机器学习和计算机系统设计交叉研究方向的诞生。如Jeff Dean在SysML18会议上主旨演讲所言：“使用启发式技术的任何系统领域，都是可能应用机器学习的好地方——编译器、网络、操作系统、芯片设计等”。要取得成功，关键点有两个：

1) 找到一个能用数字精确表示的优化指标；

2) 有一个集成机器学习的清晰接口（模型的输入输出定义，训练、测试数据集的获取等）。

对于计算机系统领域的优化，这两个要求似乎是比较容易实现的。

参考文献：

[1]  Kraska et. al., The Case for Learned Index Structures, SIGMOD 2018

[2] RMI（Recursive Model Indexes）的一个代码实现, https://github.com/learnedsystems/RMI

[3] 李喆, 《浅谈Lenared Index Structure及相关的坑》, https://zhuanlan.zhihu.com/p/52569266

[4] 勋章, 《如何评价 2017 年 Jeff Dean 的关于使用 deep learning 做索引的论文？》, https://www.zhihu.com/question/263916416

[5] Ratner et. al, MLSys: The New Frontier of Machine Learning Systems, ArXiv 2019

[6] Boncz et. al, The Case for B-Tree Index Structures,  http://databasearchitects.blogspot.com/2017/12/the-case-for-b-tree-index-structures.html

[7] Erlingsson et. al, A Cool and Practical Alternative to Traditional Hash Tables, WDAS 2006

长按关注

内核工匠微信

Linux 内核黑科技 | 技术文章 | 精选教程

内核工匠
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
b+树，learning index
11-29
## A C++11 implementation of the B-Tree part of "The Case for Learned Index Structures" A research **proof of concept** that implements the B-Tree section of [The Case for Learned Index Structures](https://arxiv.org/pdf/1712.01208.pdf) paper in C++. The general design is to have a single lookup structure that you can parameterize with a KeyType and a ValueType, and an overflow list that keeps new inserts until you retrain. There is a value in the constructor of the RMI that triggers a retrain when the overflow array reaches a certain size. The basic API: ```c++ // [first/second]StageParams are network parameters int maxAllowedError = 256; int maxBufferBeforeRetrain = 10001; auto modelIndex = RecursiveModelIndex recursiveModelIndex(firstStageParams, secondStageParams, maxAllowedError, maxBufferBeforeRetrain); for (int ii = 0; ii < 10000; ++ii) { modelIndex.insert(ii, ii * 2); } // Since we still have one more insert before retraining, retrain before searching... modelIndex.train(); auto result = modelIndex.find(5); if (result) { std::cout << "Yay! We got: " << result.get().first << ", " << result.get().second << std::endl; } else { std::cout << "Value not found." << std::endl; // This shouldn't happen in the above usage... } ``` See [src/main.cpp](src/main.cpp) for a usage example where it stores scaled log normal data. ### Dependencies - [nn_cpp](https://github.com/bcaine/nn_cpp) - Eigen based minimalistic C++ Neural Network library - [cpp-btree](https://code.google.com/archive/p/cpp-btree/) - A fast C++ implementation of a B+ Tree ### TODO: - Lots of code cleanup - Profiling of where the slowdowns are. On small tests, the cpp_btree lib beats it by 10-100x - Eigen::TensorFixed in nn_cpp would definitel
The Case for Learned Index Structures
01-26
The Case for Learned Index Structures，The Case for Learned Index Structures
LIFT: Learned Invariant Feature Transform
10-22
ECCV2016年关于深度学习的一篇论文----LIFT：Learning Invariant Feature Transform.很值得学习
LearnedSort：Learned Sort：一种模型增强的排序算法
02-05
LearnedSort：Learned Sort：一种模型增强的排序算法
The case for learned index structures-2018sigmod.pdf
09-03
learned index
来给博客除草了：Learned Indexes for a Google-scale Disk-based Database
Andy
01-18 1122
论文研读：Google规模的基于磁盘的数据库的学习索引
[论文阅读] The Case for Learned Index Structures
天下月色共三分的博客
01-14 715
论文阅读 the case for learned index structures
LISA: A Learned Index Structure for Spatial Data
小蚂蚁与大象
06-10 515
摘要：在空间查询处理中，目前流行的索引r树可能会造成较大的存储消耗和IO成本。受最近学习的索引[17]用机器学习模型取代b树的启发，我们研究了一个空间数据的类比问题。我们提出了一种新的空间数据学习索引结构(LISA)。其核心思想是使用机器学习模型，通过几个步骤，为任意空间数据集在磁盘页面中生成可搜索的数据布局。具体来说，LISA包含一个映射函数(将空间键(点)映射到一维映射值)、一个学习分片预测函数(将映射空间划分到分片)和一系列本地模型(将分片组织到页面)。在LISA的基础上，设计了一个范围查询算法，并通
经典 Learned Index 结构设计及其应用
Andy
04-26 1069
其整体的思想是保留了 B+树的内部节点（作为导航），把叶子节点替换成学习模型，不存储实际数据，而是存储学习模型的参数。更多的工作是在如何组织这些训练出来的线性模型下功夫，抑或是将已有结构稍作变化或不做变化，应用在某个场景下，在查询性能或存储开销取得了优良的性能。PGM 的基本节点单元使用 Linear Model，采用 Bottom-Up 的构建方式，上一层对下一层的代表数据（每个 Segment 的起始点）递归地使用线性回归来构建索引树，其插入采用了类似 LSM 层次合并的思想来设计。
基于深度学习的CNN_SLAM视觉定位系统设计源码
最新发布
04-17
本项目是深度学习在视觉定位系统中的应用，具体实现了CNN_SLAM，即卷积神经网络同步定位与映射。该系统基于论文“CNN SLAM: Real-Time Dense Monocular SLAM with Learned Depth Prediction”...
学习型索引结构---开山之作学习 The Case for Learned Index Structures
want_to_fly_的博客
07-06 727
构建替代 B 树的替代学习模型的关键挑战之一是最后一英里的准确性。例如，使用单个模型把误差从 100M 减少到几百这个数量级是非常困难的。同时，将误差从 100M 降低到 10K，例如 100 * 100 = 10000 的精度实现起来还简单些，这样就可以用简单模型替换 B-Tree 的前两层。同样的，将误差从 10k 降低到 100 是一个更简单的问题，因为模型只需要关注数据的一个子集。提出递归回归模型(见图3)。
学习型索引结构--ALEX: An Updatable Adaptive Learned Index
want_to_fly_的博客
08-01 562
因为实验室的方向，暑假准备开始学习学习型索引结构。前段时间刚刚学习了学习型索引的开山之作，今天学习它之后同一个团队出的改进学习型索引的一篇论文ALEX: An Updatable Adaptive Learned Index。我们要清楚的认识到。学习型索引结构的关键思想是，索引可以被认为是预测数据集中键的位置的“模型”。因此，索引是可以学习的。定义结构体NodeNode是 GappedArray 的节点结构，包含以下成员：keys[]：数组，存储实际的元素值。num_keys。
Benchmarking Learned Indexes(VLDB2021)
小蚂蚁与大象
06-11 411
最近学习索引结构的进步建议用近似学习模型来替代现有的索引结构，比如b树。在这项工作中，我们提出了一个统一的基准，它将三种已经学习过的索引结构的优化实现与几种最先进的传统基准进行比较。通过使用四个真实的数据集，我们证明了在内存中只读工作负载下，学习索引结构在密集数组上的性能确实优于非学习索引。我们研究了缓存、流水线、数据集大小和密钥大小的影响。我们研究了学习的索引结构的性能，并建立了一个解释为什么学习的模型能取得如此好的性能。最后，我们研究了学习索引结构的其他重要特性，例如它们在多线程系统中的性能和构建时间。
The case of learned index structures论文阅读（一）
qq_33654685的博客
03-07 1409
The case of learned index structures论文阅读（一） 链接：https://pan.baidu.com/s/1L65BK2vZ_5qEny04bfHPoA 提取码：z98n 学习索引结构的实例 摘要 索引是模型：B树索引可以看作是将键映射到已排序数组中记录位置的模型，哈希索引可以看作是将键映射到未排序数组中记录位置的模型，位图索引可以看作...
Jeffrey Dean联署论文 The Case for Learned Index Structures
bilidi的博客
02-24 1692
The Case for Learned Index Structures是一篇谈ML运用到计算机系统中的论文，主要讲的是通过神经网络使得B-tree、Hash index和布隆过滤更有效率。 Abstract 作者认为无论是Btree、BitMap-Index、Hash index还是布隆过滤器都是一种映射模型。而这种映射索引模型都可以被包括自深度学习模型在内的模型代替。实现的关键在于是模型...
论文推荐丨LISA: A Learned Index Structure for Spatial Data
AI_Conf的博客
12-26 548
论文名称：LISA: A Learned Index Structure for Spatial Data 推荐理由：在空间查询处理中，流行的索引R-tree可能会产生较大的存储消耗和较高的IO成本。受最近的学习型索引[Tim Kraska et al., 2018]工作用机器学习模型代替B-tree的启发，作者研究了一个针对空间数据的类比问题。作者提出了一种新型的空间数据的学习索引结构（Learned Index structure for Spatial data，简称LISA）。其核心思想是利用机器学
【AI】深度学习索引 Deep Learning Index
北境の守望者
09-09 886
通过层次化的方法可以让计算机通过构建简单的概念来学习复杂概念. 为了获得优异的性能, 我们需要构建一个很深(层次很多)的关系图. 因此我们把这一类方法就做深度学习. 深度就是深度, 仅此而已. 简介 Intro 深度前馈网络 Deep Feedforward Network / 多层感知机 Multilayer Perceptron (MLP) 感知机 Perceptron 卷积神...
The case of learned index structures论文阅读（二）
qq_33654685的博客
03-07 1193
The case of learned index structures论文阅读（一） 链接：https://pan.baidu.com/s/1L65BK2vZ_5qEny04bfHPoA 提取码：z98n 学习索引结构的实例 3.6训练 虽然训练（即加载）时间不是本文的重点，但应该指出，我们所有的模型，浅NNs甚至简单的线性/多变量回归模型，训练相对较快。 简单N...
on content-aware post-processing: adapting statistically learned models
04-30
内容感知后处理：适应统计学习模型，是一种通过应用统计学习模型来调整数字图像和视频的技术。该方法是一种自适应技术，可以快速识别图像或视频中的不希望的区域，并将其进行后处理，达到更佳的视觉效果。 统计学习模型通过不断学习，可以准确地识别并分类不同类型的图像和视频，因此可以被应用于内容感知后处理中。利用这种技术，用户可以去除图像或视频中的不希望的内容，比如人物、背景等。这种技术可以被应用在广泛的领域中，包括电影制作、摄影、计算机视觉等。 此外，内容感知后处理技术也可以被应用在一些自动化的场景中，比如智能驾驶和智能监控。这种技术可以自动地识别驾驶员或监控画面中的异常情况，并进行相应的后处理，达到更加安全和高效的效果。 总之，内容感知后处理：适应统计学习模型，是一种非常有潜力的技术，它可以在很多领域中得到应用，并且有望推动图像和视频处理技术的进一步发展。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

内核工匠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值