KaiwuDB 数据库

原创 国际顶会认可！KaiwuDB 论文入选 ICDE 2024

KaiwuDB 与中国人民大学合作的论文FOSS: A Self-Learned Doctor for Query Optimizer被数据库领域顶会The 40th IEEE International Conference on Data Engineering (ICDE 2024)录用

原创 智慧管网 | “数字大脑”加速“能源动脉”新升级

原创 又出新方案的 KaiwuDB 2024-05-16 18:20 上海。

原创 KaiwuDB 参编的《分析型数据库技术要求》标准正式发布

KaiwuDB 作为一款分布式、多模融合、支持原生 AI 的数据库产品，支持时序数据、关系型数据采、存、算、管及数据跨模分析，将自适应时序引擎、事务处理引擎、预测分析引擎、内存实时引擎等多种计算引擎深度融合，助力广大企业用户完成从数据管理到业务场景分析的落地实践。分析型数据库作为数据库产品的重要分支，承担对数据进行在线统计、在线分析、即席查询等发掘信息数据价值的工作。该标准确立了分析型数据库的参考模型，规定了核心能力和支撑能力要求，适用于分析型数据库系统的设计、开发、测试、评估、运维、管理等。

原创 KaiwuDB 解析器之语义解析

解析器是数据库系统的重要组成部分之一，主要的功能是将客户端输入的 SQL 语句分解为语法单元，然后将这些语法单元转化成数据库内部可识别的数据结构，最终生成数据库可以执行的计划。从客户端输入一个 SQL 指令（文本格式），数据库执行器无法直接执行该文本指令，会先通过词法解析和语法解析将文本指令生成数据库能识别的数据结构 AST；语义解析对 AST 进行有效性校验，生成优化器需要的 Memo 数据结构；通过优化器（包括 RBO、CBO）优化后选出一个最优的 Memo 结构；

原创 KaiwuDB 受邀亮相 IOTE2024 演讲，顺便领了个奖

受邀亮相 IOTE2024 大会并发表主题演讲，向全球 5 万余名与会者介绍浪潮研发的新一代工业物联数据基座 — 分布式多模数据库 KaiwuDB 及物联网场景解决方案，旨在将先进数据技术引入实体经济领域，促进数字化转型和智能化升级。

原创 一文解读 SQL 生成工具

SQL 生成工具可用于测试 Parser 与其他数据库产品的兼容性，通过解析 YACC 语法文件中的产生式，生成对应的 SQL 语句，再使用数据库执行该 SQL，根据结果判断语句是否与其他数据库语法兼容。

原创 KaiwuDB CTO 魏可伟：AIoT，用行业定义数据库

魏可伟表示，当今中国乃至全球数据库市场上，从业者习惯于以技术定义数据库产品，例如关系型数据库、OLAP 数据库、时序数据库、图数据库、向量数据库等等，用以分门别类地应对不同类型的数据管理诉求；KaiwuDB 是一款分布式、多模、支持云边端协同的数据库产品，以 AIoT 为一大核心场景，提供高性能、高可用、高兼容、高扩展的数据管理服务及能力，旨在以现代数据库架构，与前沿智能化技术的融合创新赋能工业物联网、数字能源、车联网、智慧产业等新兴数字领域，助力我国传统产业从容步入 IoT 时代。

原创 KaiwuDB 数据库故障诊断工具详解

数字化时代，数据是企业最宝贵的资产之一。然而，随着数据量的增长，数据库管理的复杂性也在不断上升。数据库故障可能导致业务中断，给公司带来巨大的财务和声誉损失。在本篇博客中，我们将分享 KaiwuDB 是如何设计故障诊断工具以及具体的示例演示。

原创 KaiwuDB 乱序数据处理功能解读

在处理乱序数据时，指定时间窗口内（比如 10 分钟或 1 小时）的乱序数据会根据去重策略处理之后存储下来，时间窗口之外的乱序数据会被丢弃。下图是乱序数据写入的基本流程：时间窗口是指表最新数据时间戳的时间点再前置的一段时间，在表没有新数据的写入时，它的时间窗口不会变。配置文件中存在参数：ts_st_iot_disorder_interval，用以支持乱序数据写入的时间窗口，单位：秒。此配置项的值不能超过分区时间间隔数值。

原创 数据库系统访问控制面面观

信息系统安全是保护信息系统中各类型数据资源免受未经授权的访问（包括查看、新增、修改、删除），确保数据完整性、保密性和可用性。在当下万物互联的发展背景下，信息安全尤其重要。访问控制作为信息安全的重要组成部分，既可对用户访问信息系统进行身份鉴别，又可细粒度控制用户对信息的访问权限。数据库作为信息系统的基础软件，承担着数据存储的责任，需要保证信息的完整性、保密性和可用性，就需要进行严格的访问控制。以下为部分内容节选，点击视频查看完整版内容。

原创 KaiwuDB 分布式系统 Range Split & Merge 原理详解

Range（分区）是一种数据库管理组织数据的技术。在分布式系统中，我们可将数据按照一定规则分成多个 Range 进行组织，通过分裂（Split）和合并（Merge）来实现动态管理，用以优化查询性能，并帮助提升系统的扩展性、可用性及负载均衡。本期直播的主要内容即为：KaiwuDB 分布式系统里 Range 的分裂（Split) 与合并 (Merge)。

原创 基于 Ractor 模型优化事务复制回放性能

当扫描线程发现可回放的事物后，会将事物 ID 加入 txnList 执行 enqueu 操作，加入事物 ID 后，扫描线程会执行 notify 操作，唤醒正在睡眠的回放线程进行事务回放操作，示意图参考如下图 2。过去发现的可回放事务都会被加入到 txnList 中，现在发现的可回放事务正在由回放线程进行回放，将来发现的可回放事务是由扫描线程扫描 UUID 进行发现的。当可回放事务全部回放结束后，认为回放结束。可回放事务分为 3 类，过去发现的可回放事务/现在发现的可回放事务/将来发现的可回放事务。

原创 KaiwuDB 拿下“物联之星”双项殊荣

2023年，基于对 AIoT 垂直场景需求的深入探索，KaiwuDB 先后推出工业物联网场景解决方案、离散制造业解决方案、数字能源解决方案等，并在工业互联网大数据中心、国网山东综能、奇瑞青岛的重点系统落地部署，大幅提升系统数据实时处理和数据价值挖掘的能力，实现以数据驱动的政府治理效率、企业生产运营效率的有质提升。未来，KaiwuDB 也将持续挖掘物联网衍生的场景需求，助力企业实现管理精细化、决策科学化和服务高效化，以领先的数据运管能力拥抱物联网时代。

原创 Kepler 参数化查询优化方法

本文主要介绍了发布于 2023 年 SIGMOD 的论文《Kepler: Robust Learning for Faster Parametric Query Optimization》，该文章针对参数化查询，将参数化查询优化与查询优化结合，旨在减少查询规划时间的同时提高查询性能。

原创 基于学习的参数化查询优化方法

参数化查询是指具有相同模板，且只有谓词绑定参数值不同的一类查询，它们被广泛应用在现代数据库应用程序中。它们存在反复执行动作，这为其性能优化提供了契机。然而，当前许多商业数据库处理参数化查询的方法仅仅只优化查询中的第一条查询实例（或用户指定的实例），缓存其最佳计划并为后续的查询实例重用。该方法虽然优化时间至最小化，但由于不同查询实例的最佳计划不同，缓存计划的执行可能是任意次优的，这在实际应用场景中并不适用。大多数传统优化方法需对查询优化器进行许多假设，但这些假设通常不符合实际应用场景。

原创 ThreadPool 模式设计与流程演示

本期我们将和大家分享 ThreadPool 模块设计。该模式能够提高系统资源的使用效率，通过重复利用已创建线程避免频繁创建和销毁线程对系统资源的消耗，可保持系统执行大量高并发任务时的性能稳定，通过 ThreadPool 模式可实现统一资源管理，简化编程接口。

原创 数据集成时表模型同步方法解析

数据治理的第一步，也是数据中台的一个基础功能 — 即将来自各类业务数据源的数据，同步集成至中台 ODS 层。业务数据源多种多样，单单可能涉及到的主流关系型数据库就有近十种。功能更加全面的数据中台通常还具有对接非关系型数据库、消息队列、日志源、文件源等功能。数据湖通常是 OLAP 型的数据库，虽然中台系统很少会采用多种数据仓库技术，但在技术选型时，可选项也有很多。数据集成可实现多种异构数据库间的数据同步，想要提升数据中台的易用高效性，自动表模型同步则显得至关重要。

原创 KaiwuDB × 风电企业 | 高性能、低成本、释放数据价值

随着平台接入风场数量日益增长，数据量激增，数据库存储、计算和管理成本负担也愈发沉重，急需一套行之有效的数据库改造与升级方案，用以加快 AI 智能化风电业务发展建设。借助 KaiwuDB “就地计算”强大分析算力，全方位支撑 AI 分析，进行精细化运维，实现了风电场故障“早预测、早判断、早介入”，降低了 30% 以上人工成本。现有风电数据仅用于存储监测，数据分析能力缺失且无法对接常用 AI 算法平台，严重阻碍数据全量分析预测价值释放，以及 AI 智能化风电业务的发展建设进程。

原创 SQL 解析与执行流程

在先前的技术博客中，我们已经详细介绍过数据库的 parser 模块与执行流程：用户输入的 SQL 语句通过词法解析器生成 token，再通过语法分析器生成抽象语法树（AST），经过 AST 生成对应的 planNode，最后执行 planNode。本期博客我们将以新增语法为例，重点介绍一条 SQL 语句需要历经的流程，以及如何自定义 SQL 语句和功能。

原创 KaiwuDB 受邀亮相“ACDU 中国行”数据库技术沙龙（西安站）

依托内置预测分析引擎，KaiwuDB 具备感知上层应用负载变化能力并从过往的运行轨迹中主动学习，致力于解决数据库开发和运维高度依赖 IT 人员专业经验的现状，推动实现数据库的“自动驾驶”；与此同时，充分满足了 AIoT 场景多样化的预测分析需求以支撑用户决策。本次沙龙由来自 CCF 数据库专委会、国内数据库领域头部企业、墨天轮社区等业内专家大咖全方位解读了现代数据库核心技术与架构、时下成熟的智能运维方案、行业创新应用及最佳实践，并与高校、伙伴探讨了如何推动产教结合，加快中国数据库产业核心人才培养。

原创 基于图神经网络的动态物化视图管理

然而，在实际场景中，查询工作负载通常是动态变化的，因此，由于查询分布可能发生变化，以前维护的 MVs 不能很好地适应未来的工作负载。因此，这篇论文建议随着新的工作负载的到来，不断迭代地更新 MVs，以应对不断出现的可能的分布转移的查询，这样所有的查询都可以在一段时间内得到很好的优化。其次，给定特征编码，这篇论文还需要对查询节点和 MV 节点进行适当的表示（或嵌入），以便模型能够很好地捕捉它们之间的关系，从而准确地估计每个 B(q，v)。然而，随着大量工作负载的到来，图变得越来越大，整个图的推断非常耗时。

原创 SQL 解析 — 如何轻松实现新增语句

KaiwuDB 支持多种不同类型的 SQL 语句，例如 create、insert 等。本文将介绍在 KaiwuDB SQL Parser（下文统称解析器）中添加新语句的过程及其实现。我们将了解如何使用 goyacc 工具更新解析器，以及执行器和查询计划器（planner）如何协同执行这条语句。添加新的 SQL 语句需要从向 SQL 解析器添加必要的语法开始。解析器是通过 goyacc 生成的，它是流行的 yacc 编译器的 Go 版本。语法定义位于 pkg/sql/parser/sql.y 文件中。

原创 KaiwuDB 又双叒叕获奖啦

原创 KaiwuDB 时序引擎数据去重功能详解

但由于插入的数据是乱序的，可能存在如下图乱序时间窗口 2 内的乱序，大于（正在插入的数据时间戳 - 乱序时间窗口）记录会存储在（正在插入的数据时间戳 - 乱序时间窗口）时间戳的前面，算法 1 就不能遍历到。乱序数据的处理是基于乱序时间窗口来做的，乱序时间窗口指表最新数据时间戳的时间点一直到往前的一段时间的时间范围，每个表的时间窗口都不一样，如果表没有新数据的写入，则它的时间窗口不会变。如图中所示，写入以存储的最新数据的时间戳作为分割线，往后的数据都是顺序数据范围，而分割线之后的数据都是乱序数据。

原创 KaiwuDB 连续三年荣获开源中国“优秀开源技术团队”

开源中国（OSCHINA）成立于2008年8月，是国内著名的开源技术社区。KaiwuDB 是一款分布式、多模融合、支持原生 AI 的数据库产品，拥有“就地计算”重点技术，具备高速写入、极速查询、SQL 支持、随需压缩、智能预计算、订阅发布、集群部署等特性，具有稳定安全、高可用、易运维等特点。KaiwuDB 始终坚信开源与创新的力量，长期以来，KaiwuDB在开源社区坚持分享数据库有关技术，旨在让更多开发者深入了解、学习及应用数据库与其技术，为未来数据库行业的创新与发展做出更好的推动。

原创 KaiwuDB × 国网山东综能 | 分布式储能云边端一体化项目建设

同时，KaiwuDB 将继续加强与行业伙伴之间的合作，共同打造更多云边端一体化建设的可行方案，为安全储能提供坚实保障。：KaiwuDB 提供时序引擎+关系引擎的能力，分别对储能场景中的传感器数据（温度、湿度等）、电力数据（电池等）、器械控制状态值数据（空调等）等时序数据，设备信息、业务数据等关系数据进行统一汇聚与纳管；大量分布式光伏并网，在输出清洁电力的同时，也给台区配电系统带来了低压用户过电压、配变上送重过载等问题，影响电网的安全稳定运行，同时也制约该区域光伏容量进一步增长。，有效延缓了配电网建设投入。

原创 2023 ACDU 中国行 · 西安站 | 数据库技术发展及实践

由中国数据库联盟联合等单位共同主办，特邀为本次活动的指导单位。作为中国数据库联盟的品牌活动之一，在线下汇集数据库领域的行业知名人士，共同探讨数据库前沿技术及其应用，促进行业发展和创新，同时也为开发者们提供一个友好交流的平台。受邀亮相本次活动，为大家带来主题演讲。赵老师将围绕，从场景痛点、技术解析、应用案例等多维度展开剖析，为大家展示如何将技术转化为生产力，以及如何利用多样技术为企业带来创新和竞争优势。

原创 KaiwuDB 获评信通院 2023 大数据“星河”标杆案例

在“基于 KaiwuDB 的台区云储能示范项目”中，以“Powered by KaiwuDB”为核心理念研发的“一体化分布式储能系统”高度集成 PCS、BMS 等元件，配备基于 KaiwuDB 分布式多模数据库的浪潮边缘控制设备，实现每秒百万级时序数据记录写入，实时计算与分析能力可达到毫秒级响应，降低储能场景的决策时延，提升储能柜对电网的综合调节能力，具备高性能、高安全、长寿命等突出优势，大大降低系统施工运维成本。未来，KaiwuDB 将继续加速推进数据库技术向数字能源、智能制造、智慧交通等重点场景渗透；

原创 深度解读 Cascades 查询优化器

数据库中查询优化器是数据库的核心组件，其决定着 SQL 查询的性能。Cascades 优化器是 Goetz 在 volcano optimizer generator 的基础上优化之后诞生的一个搜索框架。本期技术贴将带大家了解 Cascades 查询优化器。首先介绍 SQL 查询优化器，接着分析查询优化基本原理，最后对 Cascades 查询优化器进行重点介绍。

原创 KaiwuDB 通过中国信通院“可信数据库”性能与稳定性评测

海量时序数据的高吞吐写入、高性能的大批量复杂查询、原生 AI 支持**等优势，可实现每秒百万级时序数据记录写入，强大的实时计算与分析能力可达到毫秒级响应，满足工业数据的高效实时处理、智能分析、统一管理和低成本维护，帮助用户降本增效并提升决策科学性。KaiwuDB 分布式多模数据库系统具备分布式数据库的强一致性、高可用性、分布式架构、分布式水平扩展、高性能和企业级安全等特点，同时还支持多种数据模型，可用于存储和分析时序数据、结构化数据、半结构化数据和非结构化数据。依托**"就地计算"

原创 KaiwuDB 亮相中国国际供应链促进博览会

同时，信息技术企业逐步探索出共性的、场景化的解决方案及技术成果，其商业模式日益成熟，为产业提质、降本增效广泛赋能。为主题，邀请来自 50 余个国家和地区的 500 余家知名企业到场，集中展示各链条上、中、下游关键环节的新技术、新产品和新服务，旨在促进全球产业链、供应链合作，深入落实绿色低碳发展及数字化转型等重要命题。未来，KaiwuDB 将持续聚焦各产业领域数字化的新场景、新需求，为我国产业链、供应链的数字资源应用治理提供创新领先的数据库产品及方案能力，为夯实产业数字化升级基石砥砺前行。

原创 KaiwuDB 亮相中国 5G + 工业互联网大会，助力新型工业化

在信息化与工业化融合的大背景下，KaiwuDB 将加速技术迭代、场景渗透和产业赋能，打造“数据要素充分利用、创新应用高效赋能”的新型工业互联网基础设施，助力新型工业化及数字经济高质量发展。KaiwuDB 面对工业互联网多源异构数据的处理复杂性以及工业实时数据处理对性能和效率的高要求，推出分布式多模数据库系统 KaiwuDB 及数据中台产品 KDP，面向工业企业提供集。”，助力企业从数据中挖掘更大的商业价值，也为我国能源行业提升新型储能聚合管理能力，新型电力系统建设贡献了新的方法与实践。

原创 KaiwuDB 多模数据库-时序性能优化

随着物联网领域的快速发展，时序数据的产生和处理需求不断增长。为了满足实时性、高效性和准确性的要求，数据库需要进行时序性能优化，以提供快速的数据写入、实时查询和高效的数据存储与处理能力。本期直播介绍了时序数据和时序数据库特征以及基于 TSBS 时序测试标准分析，并基于此解析了 KaiwuDB 的时序模型架构和优化设计。

原创 KaiwuDB 监控组件及辅助 SQL 调优介绍

在 KaiwuDB 的监控中，使用了 Opentelemetry 的 Metrics API，创建 Gauge 和Counter的方法，并将其注册到 opentelemetry 的 MeterProvider 中。Opentelemetry Collector 是其中的一个组件，它提供了一个通用的数据收集器，可以从多个数据源中收集和转换数据，并将其发送到多个目标存储或分析平台。Opentelemetry 是一个用于跨多个服务和系统进行分布式跟踪和性能监测的工具，可以帮助收集、记录和分析应用程序的各种数据。

原创 技术贴 | SQL 执行 - 执行器优化

本期技术贴主要介绍查询执行引擎的优化。查询执行引擎负责将 SQL 优化器生成的执行计划进行解释，通过任务调度执行从存储引擎里面把数据读取出来，计算出结果集，然后返回给客户。在关系型数据库发展的早期，受制于计算机 IO 能力的约束，计算在查询整体的耗时占比并不明显，这个时候关注重点主要放在对于查询的优化。优化器的好坏，对于执行计划的优劣有着重要的意义，查询执行引擎的作用在数据库优化中对应等级是相对弱化的。但随着计算机硬件的发展，查询执行引擎也逐渐展现出他们的重要地位。

原创 聚势启新，KaiwuDB 生态联盟沙龙首站落地长春

11月9日，由 KaiwuDB 联合和润集团、致远互联主办的“KaiwuDB 生态联盟沙龙”首站活动在吉林长春顺利举办。

原创 KaiwuDB x 奇瑞超级工厂 | 汽车行业能源管理平台成功实践

三大困境，对能源管理平台也提出更多诉求；”标准打造，拥有全球最快的深度互动定制生产模式和数字化管理平台，已实现关键工序全自动化操作，年产 20 万台，平均每 1.5 分钟就有一台全新整车下线，预计年产值 380 亿元，是名副其实的“KaiwuDB 数据服务平台（KDP）同步接入，提供多源异构数据融合分析能力，能源管理平台能同步支持包括 水、电、气、热、暖等在内的生产、能源数据及关系型业务数据分析；：厂区存在水、电、气、热、暖等多种能源监测设备，且数据存储需求在 10 年以上，统计汇总难度大、成本高；

原创 KaiwuDB 内核解析 - SQL 查询的生命周期

如果当前语句是 BEGIN，则会开始一个新的事物。KaiwuDB 内核解析系列共分上下两部分，本文是该系列的第一部分，主要涵盖了网络协议到 SQL 执行器，解释 KaiwuDB 如何执行 SQL 查询，包括系统各个组件的执行路径（网络协议、SQL 会话管理、解析器、执行计划及优化、执行器、KV 引擎、事务管理等），目的是为各个组件的结构及其之间的关系提供一个高层次的统一视图。此处的 for loop 是作为生产者，首先验证 SQL Client 的权限，通过后，会根据客户端发送的消息类型调用不同的方法。

原创 KaiwuDB 获山东省工信厅“信息化应用创新优秀解决方案”奖

本次获奖的“基于 KaiwuDB 的分布式储能行业解决方案”，以分布式多模数据库 KaiwuDB 为基座，结合面向 AIoT 的一站式数据服务平台 KDP，能高效解决传统分布式储能系统数据采集实时性差、数据存储与同步性能差、第三方软件调用数据易导致宕机等问题，能够面向百万级并发点实现毫秒级的实时数据采集，数据存储轻松扩展到 PB 级从而实现数据永久保存，为分布式储能行业负荷调节、削峰填谷、电网稳定、调频调峰等业务场景数字化建设和智能化运行管理提供了有力支撑，保证电力输出更加稳定、可靠。

原创 KaiwuDB 联合信通院数据库应用创新实验室召开数据库技术研讨沙龙

10月26日，KaiwuDB 联合中国通信标准化协会大数据技术标准推进委员会（CCSA TC601）、信通院数据库应用创新实验室主办的“夯实数据库技术底座，探索智能时代发展新篇章”主题技术沙龙在上海成功举办。