StoneDB开源社区-CSDN博客

这篇文章我们介绍了 redo log 的分类，不同种类的 redo log 的结构，并且分析了 redo log 在恢复时的流程相关的源码，欢迎大家关注StoneDB的开源代码。StoneDB 介绍StoneDB 是石原子科技自主设计研发的国内首款完全兼容于 MySQL 生态的开源一体化实时 HTAP 数据库产品，具备行列混存、智能索引等核心特性，为 MySQL 数据库提供在线数据实时就近分析服务，能够高效解决 MySQL 数据库在分析型应用场景中面临的能力问题。

2023-08-30 10:46:57 198

原创为MySQL新增一张performance_schema表 | StoneDB 技术分享会 #4

MySQL 启动后会自动创建四个 database| mysql || sys |其中的 performance schema 用于监控 MySQL server 在一个较低级别的运行过程中的资源消耗、资源等待等情况。它提供了一种在数据库运行时实时检查 server 的内部执行情况的方法，该数据库主要关注数据库运行过程中的性能相关的数据，与更为常见的 information_schema 不同，information_schema 主要关注 server 运行过程中的元数据信息。

2023-08-10 16:05:24 372

原创 MySQL 的 Join 查询及 Hash Join 优化 | StoneDB 技术分享会 #3

MySQL 支持自然连接、等值连接（内连接）、左连接、右连接、交叉连接五种连接方式，不支持全外连接，全外连接可以通过 Union 并集操作实现。连接算法：简单嵌套循环、索引嵌套循环、块嵌套循环以及哈希连接。

2023-08-01 10:42:58 368

原创 MySQL 的解析器以及 MySQL8.0 做出的改进 | StoneDB技术分享 #2

设计：小艾审核：丁奇编辑：宇亭作者：柳湛宇（花名：乌淄）浙江大学-软件工程-在读硕士、StoneDB 内核研发实习生。

2023-07-31 15:57:10 364

原创快照隔离级别原理 | StoneDB 技术分享 #1

设计：小艾审核：丁奇编辑：宇亭作者：罗中天（花名：德里克）浙江大学在读硕士、StoneDB 内核研发实习生ANSI SQL-92 标准中规定了四种事务隔离级别和三种异象：读未提交（Read Uncommitted）、读已提交（Read Committed，简称 RC）、可重复读（Repeatable Read，简称 RR）和串行化（Serializable），其中读已提交解决了脏读，可重复读解决了脏读和不可重复读，串行化解决了脏读、不可重复读和幻读。上述这些内容是为人所熟知的，故不是本文的主角。

2023-07-31 15:55:41 219

原创如何在 Ubuntu 22.04 下编译 StoneDB for MySQL 8.0 | StoneDB 使用教程 #1

作者：双飞（花名：小鱼）杭州电子科技大学在读硕士StoneDB 内核研发实习生大家好，我是 StoneDB 的实习生小鱼，目前正在做 StoneDB 8.0 内核升级相关的一些事情。刚开始接触数据库开发没多久，在 Ubuntu 22.04 下编译 StoneDB 8.0 时踩了不少坑。

2023-07-31 15:53:39 1235

原创 ChatGPT 来了，MySQL DBA 会失业吗？| StoneDB 数据库观察 #10

innodb_redo_log_capacity 是MySQL 服务器的一个设置，而 innodb_log_block_size 是 MariaDB 的一个设置。假设 redo 日志块大小为 512 字节（这是innodb_log_block_size的默认值），并且将更改写入磁盘所需的最大时间为 10 分钟（0.16667小时），则计算如下：[...]实际上，在一个10核心的服务器中，16到32可能会导致上下文切换争用，因此IMO的数字是不正确的，一个好的起点是设置一个比CPU数量小的数字。

2023-07-31 15:39:43 166

原创实时数仓浪潮来袭，这些宝藏开源CDC工具助您破壁 | StoneDB数据库观察第9期

Kafka确保所有这些数据更改事件都能够多副本并且总体上有序(Kafka只能保证一个topic的单个分区内有序)，这样更多的客户端可以独立消费同样的数据更改事件，而同时对上游数据库系统造成的影响降到很小(如果N个应用都直接去监控数据库更改，对数据库的压力为N，而用debezium汇报数据库更改事件到kafka，所有的应用都去消费kafka中的消息，可以把对数据库的压力降到1)。该平台还具有高度的可扩展性，任何数据量或使用情况都可以，它使你能够将数据无缝地汇总到仓库、数据库、运营系统和数据存储中。

2023-07-28 15:21:10 225

原创 “One Size Fits All”：一个过时的想法？| StoneDB 学术分享会 #8

审校：李浩、宇亭设计：Yeekin责编：宇亭导语本篇是StoneDB学术分享会专栏的第八篇，在上一期里，我们分享了SAP 发表的《Efficient Transaction Processing in SAP HANA Database – The End of a Column Store Myth》，主要介绍了 SAP HANA 数据库如何通过列式存储实现同时在分析型和事务型工作负载环境中进行高效工作，从而号召大家终结对列式存储的偏见。有心的同学可能会注

2023-07-28 15:07:22 249

原创 StoneDB首席架构师李浩受邀采访：浅谈KPI与开源的可持续发展，认可长期主义很重要

也有一位知乎网友@Wang Xu表示，对于开源这样开放式结局的任务，绝对忌讳“KPI式管理”，它必须充分激发开源团队的创造力，应该明确OKR管理，根据目标分解要达到的关键结果，但考察的时候重点考察达到了什么结果，是否帮助实现目标，而非和设定的“关键结果”死磕。然而，不合理的KPI可能会导致开源项目过度注重指标和数据，忽略项目的本质和创造性，最终使整个开源团队转向“唯KPI论”，很多公司的高层管理人员却又往往被虚假的繁荣所蒙蔽，忽略了人而浮于事，造成资源浪费的问题，严重影响公司健康的发展。

2023-07-28 15:00:52 168

原创 StoneDB亮相2023数据技术嘉年华：增强AP、升级TP、信创替换，让万千DBA用得更省心，企业用得更省钱

当前，国产数据库需求不断增加，同样地，面对的挑战也蜂拥而来，StoneDB 会秉持开源开放的初心，持续投入研发力量，完成商业化闭环的同时，向开源社区持续贡献，期待大家多多关注和使用 StoneDB，让我们齐头并进，共迎国产数据库的辉煌时代~根据多方测算评估，国产数据库的市场规模未来非常可观（近300亿），而在国产化和信创方面，StoneDB 已经被信创图谱收录，是可以完美替代 MySQL 的信创产品。StoneDB 自开源起来，就不断有众多客户涌来，我们进行了非常多的 POC 验证，其中，在。

2023-07-28 14:56:44 500

原创终结对列存数据库的偏见！SAP HANA数据库的高效事务处理 | StoneDB学术分享会 #7

翻译：王学姣审校：李浩、宇亭责编：宇亭设计：Yeekin导语本篇是StoneDB学术分享会专栏的第七篇，在上一期里，我们分享了 SAP 在 2012 年发表的《The SAP HANA Database – An Architecture Overview》论文，主要是介绍了SAP HANA 列式存储引擎的架构设计，该列存引擎利用现代硬件（多 CPU 内核、大容量主内存和缓存），支持数据压缩、数据库内核并行最大化，提供层次结构（hierarchy）专用的数据结

2023-07-28 14:51:03 237

原创大话开源｜国产数据库红海里独辟蹊径，瞧瞧StoneDB如何引领数据分析新“石”代 @石原子·叶建林

作为StoneDB背后商业化公司-石原子科技的CEO，叶建林（花名：自修）有着超过15年的数据库研发和系统架构经验，现如今正做着面向全球的全场景AP数据库服务，秉着点点滴滴围绕客户与产品的精神，尽显开源人细致入微的认真劲儿，以及锚定志向后不惧风雨的平常心！OpenTEKr 是一家为开源服务的社区，倡导开源开放理念，并以开源精神服务和支持各类开源人和开源社区进行商业化及产业化实践，致力于建设一个健康可持续发展的开源生态。/// 关于 OpenTEKr ///国内本土化先行vs 海外全球化。

2023-07-07 17:25:02 279

原创 StoneDB 源码解读系列｜查询模块流程及源码介绍——StoneDB 优化器

例如：数据包节点记录了最大值、最小值、平均值、总和、总记录数、null 值的数量，如果想对某个列做聚合运算，那么知识网格就能根据这些元数据很快的得到结果，而无需再解压访问底层的数据包。知识网格正是起到了这样的一个作用，它能够有效的过滤查询中不符合条件的数据，以最小的代价定位以数据包为最小单位的数据。数据包节点的上一层是知识节点，记录了数据包之间或者列之间关系的元数据集合，比如值数据包的最小值与最大值的范围、列之间的关联关系。大部分的知识节点数据是装载数据的时候产生的，另外一部分是查询的时候产生的。

2023-07-07 17:00:57 154

原创磨刀不误砍柴工，数据压缩，带来的可不止空间节省 | StoneDB数据库观察

数据仓库中的数据压缩，使用越来越广泛，除了能够降低存储成本之外，同时还可以在某些场景下大幅提高查询性能。当然由于数据库的空间变小了，因此数据库的灾难恢复时间也会缩短，实属数据仓库中比较热门的技术。随着越来越多的智能设备的接入，企业数仓的数据规模越来越大，已经从TB跨越PB直达EB级别，数据压缩在未来会有越来越多的用武之地。关于数据库压缩，今天就谈这么多，如果大家有什么想要讨论的，请不吝赐教。

2023-07-07 14:50:56 134

原创 SAP HANA 数据库—架构概览 | StoneDB学术分享会 #6

来自其他接口的查询最终也被转换为相同类型的执行计划，并在相同的引擎中执行，但首先会在计算引擎中用更具表达力的抽象数据流模型来进行描述。此外，这些引擎采用了多种多样的压缩方案来实现对数据的灵活压缩。在这两种情况下，数据压缩都非常高效，这对于 OLTP 场景来说是一个决定性的优势：通过减少内存消耗，所需的存储变少，从而减少了节点的开销。尽管基于列的数据布局支持更细粒度的数据访问模式，但为处理大量列而为每一列分配内存会导致显著的性能开销，例如，当构造由100列或更多列组成的单个结果行（result row）时。

2023-07-07 14:44:06 463

原创 StoneDB 开源社区月刊 | 202301期

StoneDB 开源社区1月月度会议昨天晚上准时跟社区的小伙伴们见面了。StoneDB 开源社区的发展离不开社区小伙伴们的热情参与，2023 年我们期待遇到更多志同道合的小伙伴，社区陪你们共同成长~In-memory Column Store 基础组件框架 Chunk，Bucket，Tile，Row 构建。如果您对我们的源码感兴趣，欢迎到我们的 GitHub 代码仓库阅读查看，觉得不错记得点个 Star 哦~

2023-07-07 14:36:22 127

原创为什么 MySQL 使用 B+ 树？| StoneDB数据库观察

编者荐语：本文作者对 MySQL 中 B+ 树的讲解可谓是深入浅出，推荐同学们阅读。以下文章来源于真没什么逻辑，作者Draveness为什么 MySQL 使用 B+ 树是面试中经常会出现的问题，很多人对于这个问题可能都有一些自己的理解，但是多数的回答都不够完整和准确，大多数人都只会简单说一下 B+ 树和 B 树的区别，但是都没有真正回答 MySQL 为什么选择使用 B+ 树这个问题，我们在这篇文章中就会深入分析 MySQL 选择 B+ 树背后的一些原因。概述首先需要澄清的一点

2023-07-07 14:32:57 196

原创主流开源分析引擎梳理，看看你最中意谁？| StoneDB数据库观察

Facebook版本的Presto更多的是以解决企业内部需求功能为主，也叫Presto DB，后来，Presto其中的几个人出来创建了更通用的Presto分支，取名Presto SQL，这个开源版本也是更为被大家通用的版本。它的特色类似MOLAP，对各种关键维度（Key）进行预先聚合，用户查询直接访问聚合后的数据，对于数据的持续更新，会在后台以Micro-batch的方式进行更新，所有的更新会保存在Delta中，后台会根据一定条件对预聚合的数据核Delta 进行compaction。

2023-07-07 14:25:27 279

原创 StoneDB 源码解读系列｜Tianmu 引擎工具类模块源码详解（一）

保存堆栈的相关信息（堆栈的函数调用和堆栈的符号信息等），方便后续调试和问题排查，目前 Tianmu 系统基于异常处理模块加上了堆栈信息的记录，如果有异常情况出现，就会把现场的堆栈信息记录下来。其中 Tianmu 引擎支持利用 std::thread::hardware_concurrency() 函数或者机器的 CPU 核心数，自动的对不同线程池利用不同的分配策略来设置线程池中的线程数量，可以自动精准的配置和利用机器的 CPU，避免造成CPU 资源利用不足和线程分配过多导致系统资源内耗的情况。

2023-07-07 14:03:57 89

原创新春发版，大展宏“兔”：StoneDB-5.7-V1.0.2 版本正式发布！两分钟快速部署安装您的分析加速器~

2023 年 1 月 15 日，在这个临近新春佳节重要节点，我们的小伙伴们加班加点可算是把万众期待的 StoneDB-5.7-V1.0.2 版本发布了，在新版本中，StoneDB 新增了一批常用功能、解决了一批常见Bug，并在用户使用体验上进行了极大地优化，大家可以到我们的 Github Repo 下载我们的安装包哦~版本地址：：自动化部署 StoneDB 备库的 Shell 脚本：两分钟极速安装 StoneDB~：让 StoneDB 在 Debian 系统上安装更便捷。

2023-07-07 13:58:13 113

原创 StoneDB 开源社区月刊 | 2022122期

StoneDB 开源社区12月月度会议暨2022年度会议在1月10日晚上准时跟社区的小伙伴们见面了。本次会议是 StoneDB 在2022年月份中的最后一次月会，也是我们的第一次年度会议。StoneDB 开源社区的发展离不开社区小伙伴们的热情参与，2023 年我们期待遇到更多志同道合的小伙伴，社区陪你们共同成长~关键项：支持主键和索引约束（语法上）关键项：支持修改表/字段的字符集。部署的易用性增强（单机&主备）

2023-07-07 13:53:57 92

原创带你来吃瓜！Andy Pavlo教授带您一文回顾数据库的2022年

小编注：这里 Andy 贴了个链接，内容是维基百科创始人 Jimmy Wales 在 Twitter 上的声明：一个加密货币的大 V 说让维基百科通过区块链技术（用于存储）和加密货币（用于激励）运作，Jimmy 表示强烈反对，他认为数据已经存在数据库里了，有数据库就够了，区块链技术很好，但可不是这样用的，至于加密货币用于激励——如果平台支持人们存款，就无法吸引那些真正对主题感兴趣而做出贡献的专家和爱好者，取而代之的是人们相互竞争以获取金钱利益为目的来创建和编辑内容，这严重违反了维基百科的平台愿景。

2023-07-06 14:46:28 317

原创稳扎稳打，坚定前行 | 一文带你回顾 StoneDB 的 2022 年

2022年 6 月 29 号，StoneDB 正式宣布开源，自开源以来，StoneDB 开源团队在用心打磨产品的同时，也在积极地拥抱开源社区，与万千数据库开发者共同成长，我们从 day 1 就励志要做一款立足中国、面向全球的开源数据库，内核代码已经在 Github 上完全开源，欢迎大家前往关注：https://github.com/stoneatom/stonedb友情提示：文末有抽奖先来一张数据图再来盘点一下月度大事件转眼间，StoneDB 已经开源 6 个月了，下面就大家回顾一下这半年以来，StoneD

2023-01-11 17:41:55 163

原创产品再受认可，StoneDB 荣获“2022 年度创新产品奖”

12 月 29 日，由中国权威的数据库及架构技术社区 ITPUB、业界知名 IT 垂直门户媒体 IT168 联合主办的第 18 届《技术改变世界创新引领未来——2022技术卓越奖》评选结果正式揭晓，StoneDB 凭借优秀创新的产品架构荣获"2022年度创新产品奖"。

2022-12-30 10:11:56 157

原创 StoneDB荣获“2022年度优秀开源技术团队“ : 决心做好下一代MySQL高性能分析加速器

StoneDB荣获“2022年度优秀开源技术团队”。此次获奖，是对 StoneDB 开源社区的技术创新能力与运营能力的充分肯定，未来，StoneDB 会继续努力，用心与社区成员交流，用质诠释产品实力，朝着下一代 MySQL 高性能分析加速器的目标不断前进，努力让百万有数据分析需求的 MySQL 实例以最低成本获得10-100 倍的加速能力。

2022-12-30 10:09:16 170

原创哪篇论文宣布了 HTAP 数据库的诞生？ | StoneDB学术分享会#5

为什么说这篇论文经典呢，因为这篇论文来自国际著名厂商，号称欧洲最大的软件公司 SAP（思爱普，截止发稿市值为 1283.17 亿美元）的创始人 Hasso Plattner（哈索·普拉特纳）教授，该文作为 Keynote 在 2009 年的数据库国际顶会 SIGMOD 上正式发布，可以说，这篇把 Michael Stonebraker 都气到变脸的论文一经发表，就此掀开了 HTAP 数据库的历史序幕，也催生了后来都能和 Oracle 抢大笔生意的数据库 SAP HANA。因此，该表的大小为 35 GB。

2022-12-16 19:04:32 189

原创列存引擎 Tianmu 如何实现 Delete？| StoneDB 研发分享 #3

作者：李红建责编：宇亭在第一期研发分享中，我们解释了，为什么Tinamu作为一款列式存储引擎在初期不支持 Delete 功能的原因，然后对一些友商列式存储引擎的 Delete 方案进行了一些调研和总结，感兴趣的同学可以查看我们上一期的分享：关于列式数据库实现 Delete 功能的调研之旅。本期文章，我将向社区小伙伴们详细地介绍一下给 StoneDB 的 Tianmu 存储引擎添加 Delete 功能的开发思路，希望对感兴趣的同学提供帮助。Tianmu 引擎的存储结构首先我们需要知道 Tianmu

2022-12-09 11:00:38 151

原创 StoneDB 首席架构师李浩：如何选择一款 HTAP 产品？

作者：李浩责编：宇亭当我们选择一款 HTAP 数据库时，总是先被其相关文档里所描述的优异性能所吸引。卓越的性能是我们选择一款产品的出发点，因为我们希望该款产品能够解决我们业务中的痛点。而大家使用 HTAP 产品的出发点就是希望该款数据库能够解决我们在事务处理过程中的实时分析痛点。不过，性能优势只能算作我们选择一款产品的考量因素之一，实际上，公司层级去选择一款HTAP产品时，还需要额外考量一些其他的因素，本篇文章，StoneDB首席架构师李浩给大家分享一下选择 HTAP 产品的六大关键考量因素。

2022-12-06 10:47:38 130

原创子查询优化之 Semi-join 优化 | StoneDB 研发分享 #2

缘起StoneDB 在列式存储引擎 Tianmu 的加持下，在大多数场景下相对 MySQL 都会有大幅性能提升。当然，这是需要工程师不断优化代码才能做到的，而且，性能好也需要通过基准测试才有说服力，所以我们也会针对 TPC-H 的测试语句进行测试排查，争取不断提升 StoneDB 的性能。本文主要讲解对 TPCH_Q4 的分析优化，在这个优化过程中，我们涉及到了对子查询中的 Semi-join 优化。首先看一下 Q4 的查询语句，比较简单：explainselect o_orderpriority,

2022-12-02 17:28:53 139

原创 2023 年十大战略技术趋势中哪一项最需要 HTAP ？

前几天，Gartner 发布了企业机构在2023年需要探索的十大战略技术趋势。Gartner 杰出研究副总裁 Frances Karamouzis 表示：“为了在经济动荡时期增加企业机构的盈利，首席信息官和IT高管必须在继续加快数字化转型的同时，将目光从节约成本转向新的卓越运营方式。Gartner 2023年战略技术趋势围绕优化、扩展和开拓这三大主题，这些技术能够帮助企业机构优化韧性、运营或可信度、扩展垂直解决方案和产品交付并利用新的互动形式、更加快速地响应或机会进行开拓。”Gartner 提出的 20

2022-11-23 14:02:11 804

原创 HTAP的下一步？SoTP初探（上）：从“大”数据到“小”而“宽”数据

在今年的第七届中国开源年会上，StoneDB 团队在大数据分论坛发表了《HTAP 的下一步？SoTP 初探》主题演讲，在本次演讲中，我们首次正式对外阐释了“SoTP 数据库”的技术理念，本系列是演讲实录+小编补充版，权当抛砖引玉，供大家批评指正。由于内容比较多，本文为第一章节，主要讲讲我们提 SoTP 的背景：From Big to Small and Wide Data。一、HTAP 的起源、流派和迷思HTAP 起源我们首先从起源讲起，不过由于是公开演讲，考虑到一些听众是小白，所以这里主要是从一

2022-11-22 15:49:12 464

空空如也

空空如也