第13届PG大会精彩演讲『DBdoctor，基于eBPF的数据库性能可观测解决方案』(附PPT和视频下载)-CSDN博客

本文链接：https://blog.csdn.net/DBdoctor_off/article/details/140436785

2024年7月12日-13日，第13届PostgreSQL中国技术大会在杭州成功举办。本次大会吸引了众多企业代表、行业技术大咖、专家学者以及数据库技术爱好者的参与。他们在会议期间围绕大会主题，分享了他们在数据库领域的最新研究成果和实践经验。

作为在数据库技术领域，率先掌握前沿eBPF技术的企业，7月13日上午，DBdoctor产品负责人郑祥受邀在大会『行业应用』分论坛中发表主题演讲：《DBdoctor：基于eBPF的数据库性能可观测性解决方案》

本次主题演讲，郑祥从数据应用角度展开，就基于eBPF的PostgreSQL可观测性解决方案展开详细讲解。利用eBPF拿到了细粒度的监控数据，这些数据该如何应用？eBPF+PostgreSQL的结合又将擦出哪些火花？业界独有的参数调优原理包含哪几个方面？本此演讲都做了详细解读，感兴趣的小伙伴可仔细阅读本文！

以下是演讲主要内容，文末附演讲PPT和现场视频获取方式。

一. 演讲思路

二. 数据库性能痛点

在使用数据库过程中，性能问题是第一大痛点。大促前都做巡检了，但关键时候还是出现问题。SQL审核通过了，但上线前还是会瑟瑟发抖，发布后会不会有问题？

监控平台存在以上问题时，业界数据库厂家也有相关解决方案，大多数还是基于系统表、慢日志等数据进行诊断，此方法具有一定效果，但是存在场景覆盖不全，问题发生时还是需要花费大量的人力去排查根因。要想彻底解决该问题还是需要采集更多精细化的数据。

行业内PostgreSQL的秒级监控主要有两种方式，第一种方式按照一定频率来打点采样，但该方式会存在丢失关键数据，同时基于数据库自带的指标不足以支撑精确诊断。第二种方式在数据库内核源码处进行打点或者开发plugin来实现更多指标的采集，但该种方式对源码有侵入，数据库升级等操作可能导致plugin不能用等问题，维护成本高。

那有没有更优的方式？DBdoctor基于eBPF技术+数据量化模型重新定义数据库可观测，打破采样或内核定制的传统，可以采集全量SQL的完整执行过程（有更多的精细化指标数据），同时又可以做到不更改数据库源码实现内核可观测。

三. eBPF的技术优势

DBdoctor的理念致力于实现DB AGI。DBdoctor的核心思路：基于eBPF技术采集探测数据库SQL的完整执行过程，采集资源消耗、锁事件、事务维度的全量SQL、Cost统计信息等更细粒度的数据，实现性能问题可量化，精准定位问题根因SQL，并提供最佳优化建议。

eBPF技术的应用主要还是在网络层面，DBdoctor是在数据库领域首家将eBPF技术应用在数据库性能诊断上，去年DTCC大会我们首次对外发布eBPF在数据库领域MySQL的落地。那么eBPF在PostgreSQL上有哪些场景可以落地？这里我们整理了以下落地场景，包括根因诊断、SQL优化、参数调优、SQL流量COPY等。DBdoctor当前的PosgreSQL聚焦在性能这块，目前对外的功能包括根因诊断和SQL优化场景。

探测PosgreSQL主要分为5个步骤：

1、需要熟悉内核源码，找到合适的函数进行探测

2、编写eBPF程序给函数加探针

3、当执行SQL调用到探针函数，对函数中的数据进行结构定义和存储

4、用户态从内核态的存储中读取数据，完成指标的采集

5、将采集到的数据投递出去，比如投递到消息队列

eBPF的探测功能实现比较简单，难点适配成本比较高，需要确认源码探测的函数高低频、内核kernel版本、ARM CPU架构、数据库源码小版本等多种因素，比如PostgreSQL的小版本有400+个版本，工作量非常大。eBPF目前主要有四种方式来探测PostgreSQL，USDT（Dtrace）、Uprobe、Kprobe、Tracepoint，可根据实际场景情况来选择对应的探针。

下面我们来看下DBdoctor在PostgreSQL有哪些创新点？

创新点1：基于eBPF采集代替传统采样

此部分在今年四月份举办的第二届『eBPF开发者大会』演讲中做过详细介绍，感兴趣的小伙伴可以到B站搜索【eBPF 数据库】观看郑祥相关演讲视频了解。

eBPF的探测业界主要应用在网络这块，在数据库这块落地最难的点是性能消耗。目前我们做到整体性能控制在5%以内，正常2%-3%，相对于数据库本身的审计日志来说，这点消耗能带来这么强的能力几乎不值一提。

创新点2：更精准的数学模型代替传统经验

通过eBPF采集到每条SQL的详细资源消耗，再结合数据库整体资源曲线，通过特征值检测、相关性、根因诊断等算法，就可以快速识别出实例资源抖动的SQL根因，代替传统经验。

创新点3：一分钟内索引推荐全局最优

目前PostgreSQL主要采用基于Plugin的虚拟索引来实现索引推荐，但Plugin的方案对数据库有侵入且维护成本高。基于eBPF的外置Cost优化器，可以不用真正执行SQL就可以评估该SQL的实际Cost消耗，推荐最小Cost的索引。

创新点4：涵盖性能的SQL审核

通过自研外置COST优化器可以实现快速、精准、对线上实例无感的索引推荐。借助索引推荐进一步实现了SQL性能审核，目前业界独家，可以助力开发同学在SQL上线前精准的评估SQL性能，避免问题SQL流到线上，很好的提前规避故障。

5.DBdoctor功能架构

基于以上创新点，便组合起了DBdoctor核心架构。主要包含：平台管理、主动发现问题、SQL根因分析、锁根因分析、优化建议、SQL审核、监控巡检、参数调优等功能。

6.企业级解决方案

基于以上功能，DBdoctor提供了企业级全方位性能诊断解决方案，包含事前发现隐患，事中精准诊断，事后随时追溯。

四. DBdoctor使用场景

场景一：业务发生卡顿，根因在哪？如何解决？

业务卡顿一般是由于资源抖动和锁引起的，性能洞察功能可以快速找到卡顿根因，并推荐优化建议。

场景二：开发说哪几个SQL有问题？

从开发视角展示存在哪几个根因SQL，并提供详细执行频率和优化建议。

场景三：我的数据库真的健康吗？

增加深度巡检，覆盖性能的巡检，提前识别潜在问题。

场景四：覆盖性能的SQL审核

告别上线前瑟瑟发抖，不用再生产执行，在开发阶段就可以评估出SQL在线上的性能情况。

当然，福利也不可少。为了感谢PG社区和众多小伙伴的支持，DBdoctor直接将：监控告警、SQL审核、巡检报表、存储诊断、SQL审计、平台管理等功能全部设置为了免费。基于免费的DBdoctor可以快速构建企业级性能监控与审核平台，且不限用户数，不限实例数，不限引擎，无需申请，下载即可用，零套路。

五. PPT下载&观看回放

关注『DBdoctor』公众号，回复eBPF，立即获取演讲PPT！回复eBPF视频，立即观看回放！