TiDB_PingCAP 的博客

本文根据我司 CEO 刘奇在第 100 期 Infra Meetup 上的演讲整理，预计阅读时间为 30 分钟。大家可能知道我是 PingCAP CEO，但是不知道的是，我也是 PingCAP 的产品经理，应该也是最大的产品经理，是对于产品重大特性具有一票否决权的人。中国有一类产品经理是这样的，别人有的功能我们统统都要有，别人没有的功能，我们也统统都要有，所以大家看到传统的国内好多产品就是一个...

作者：黄东旭 “我希望能够把 TiDB 的设计的一些理念能够更好的传达给大家，相信大家理解了背后原因后，就能够把 TiDB 用的更好。”做 TiDB 的缘起是从思考一个问题开始的：为什么在数据库领域有这么多永远也躲不开的坑？从 2015 年我们写下第一行代码，3 年以来我们迎面遇到无数个问题，一边思考一边做，尽量用最小的代价来快速奔跑。作为一个开源项目，TiDB 是我们基础架构工...

任何一个复杂的系统，用户感知到的都只是冰山一角，数据库也不例外。前两篇文章介绍了 TiKV、TiDB 的基本概念以及一些核心功能的实现原理，这两个组件一个负责 KV 存储，一个负责 SQL 引擎，都是大家看得见的东西。在这两个组件的后面，还有一个叫做 PD（Placement Driver）的组件，虽然不直接和业务接触，但是这个组件是整个集群的核心，负责全局元信息的存储以及 TiKV 集群负载均衡调

上一篇介绍了 TiDB 如何存储数据，也就是 TiKV 的一些基本概念。本篇将介绍 TiDB 如何利用底层的 KV 存储，将关系模型映射为 Key-Value 模型，以及如何进行 SQL 计算。关系模型到 Key-Value 模型的映射在这我们将关系模型简单理解为 Table 和 SQL 语句，那么问题变为如何在 KV 结构上保存 Table 以及如何在 KV 结构上运行 SQL 语句。 假设我们

引言：数据库、操作系统和编译器并称为三大系统，可以说是整个计算机软件的基石。其中数据库更靠近应用层，是很多业务的支撑。这一领域经过了几十年的发展，不断的有新的进展。 很多人用过数据库，但是很少有人实现过一个数据库，特别是实现一个分布式数据库。了解数据库的实现原理和细节，一方面可以提高个人技术，对构建其他系统有帮助，另一方面也有利于用好数据库。 研究一门技术最好的方法是研究其中一个开源项目，数据库

本文深入探讨了国产 HTAP 分布式数据库 TiDB 在某国有大行反洗钱系统中的应用实践。

系列文章将从技术原理和真实用户体验两个角度深入探讨 TiDB 在 SaaS 业务中的表现，包括如何应对可扩展性、多租户管理、运维便利性、高可靠性等挑战。

随着新冠病毒疫情的缓解和控制，全球旅游业逐渐开始重新复苏。尤其在一些度假胜地，游客数量已经恢复到疫情前的水平。携程作为全球领先的一站式旅行平台，旗下拥有携程旅行网、去哪儿网、Skyscanner 等品牌。携程旅行网向超过 9000 万会员提供酒店预订、酒店点评及特价酒店查询、机票预订、飞机票查询、时刻表、票价查询、航班查询等服务。随着业务量迅速增长，携程需要更敏捷的技术架构来满足不断激增的并发与数据量，一个稳定、可靠，可以随业务增长不断扩展的数据库对于携程来说显得尤其重要。

数据库不是单一软件，而是一个生态体系。成为一款好用的数据库，除了产品自身的能力外，繁荣的技术生态体系也至关重要，既可以提升使用体验，又可以降低使用门槛。PingCAP 在 2022 年 11 月 1 日正式发布了 TiDB Cloud Serverless Tier，本次分享在介绍 Serverless Tier 的技术细节之余，全面解析 TiDB 的技术生态全景和在生态构建中所做的努力。阅读本文，了解有关 Serverless 的更多信息，以及 PingCAP 在技术领域的最新进展。

对于数据库产品而言，基于时间点的恢复是非常重要的基础能力，它允许用户根据需要，将数据库恢复到特定时间点，以帮助客户的数据库免受意外损坏或错误操作的影响。例如，数据库在某个时间点之后的数据遭受了意外的删除或损坏，则可以使用 PiTR 功能将数据库恢复到该时间点之前的状态，从而避免丢失重要数据。由于 TiDB 数据库，每一次的数据改变都会产生对应的分布式日志，其中记录了数据库每一次变更的信息，包括事务 ID、时间戳和变更的具体内容。

于是我就问我的朋友，你期望如何分析你上传的数据，我的朋友说的很直观，给我打开了 Google 的主页。探讨了想打造一款好的产品，从用户角度出发的思考方式以及与用户交流的重要性：当我们向用户展示产品能力时，我们往往习惯站在技术的角度出发，然而当用户并不具备完备的相关技术背景时，我们需要换位思考，了解用户的工作流程和思维方式，才能真正让用户理解和接受我们的产品。但是，我推荐的朋友几乎全是有技术背景的人，所以当我跟一位不懂技术的朋友进行推荐的时候，我才突然意识到，我们的这款产品离好看以及好用，还有很长的路要走。

NFTScan 是一家多链 NFT 数据基础设施服务商，为 Web3 用户提供高效简洁的 NFT 资产搜索查询服务，为 Web3 开发者和新一代金融科技公司提供专业的 NFT API 数据服务。TiDB 作为一种分布式 HTAP 数据库，可以同时满足海量数据存储和高并发读写的需求， 在高可用性、分布式架构、ACID 事务支持和实时多维查询等方面，都具备优势，适配 Web3 行业的场景需求。

分享了如何解决海量数据存储和管理的问题，以及提高业务效率和用户体验的实践经验。

那些需要抽数的业务，几乎新增一个表就需要更新 TiCDC 的任务，之前都是邮件沟通，如今实现工单后，对业务，对大数据团队，又或者是 DBA 都是十分方便的，降低了三方的沟通成本，提升工作效率。比如 Grafana，Alertmanager 这种不需要 IO，PD，TiKV，TiFlash 对 IO 又要求比较高，另外还需要根据服务的重要程度进行合理的规划，重要的服务单独部署或者尽可能的减少节点数，需要考虑的点参考维度有点多。从遇到问题开始，到解决问题，以及平台做成什么样，也是对过去工作的总结和梳理。

本文整理自网易互娱资深工程师, Flink Contributor, CDC Contributor 林佳，在 FFA 实时风控专场的分享。众所周知，网易互娱的核心业务之一是线上互动娱乐应用服务，比如大家耳熟能详的梦幻西游、阴阳师等都是网易互娱的产品。不管是游戏产品还是其他应用，都需要做出好的内容来吸引用户进行应用内购买，进而产生盈利。当用户在商城里点击商品进行购买的时候，会弹出支付界面，进行验证、支付后，就可以收到道具了。

而证券行业特点使流量负载和流量峰值很难预测，原有的架构设计在一些业务峰值的数据承载以及性能上会有一定的瓶颈，特别是在数据峰值比较大的时候，如果需要扩展，对架构的改动较大，风险也相应提高。建议在改造迁移的时候，比如说从 MySQL 等数据库迁移，在开发的时候要重视开发规范，比如严格使用事务显式声明，像 begin 加上需要执行的SQL语句，加上 commit 的方式，特别是对于 DML 语句，尽可能保证这个事务机制与原来的传统关系型数据库（像 MySQL）一致，减少开发的复杂度，保证数据的准确性。

将一个 Changefeed 所有需要被同步的表，分发到不同的 TiCDC 节点上进行同步工作，以达到负载均衡的目的。维护每张表的同步进度，同时推进 Changefeed 的全局同步进度。本次介绍的 Scheduler 相关代码都在Coordinator 运行在 Changefeed，是 Scheduler 的全局调度中心，负责发送表调度任务，维护全部同步状态。Agent 运行在 Processor，它接收表调度任务，汇报当前节点上的表同步状态给 Coordinator。

本文根据微众银行资深数据库架构师黄蔚在 DevCon 2022 上的分享整理，主要讲述了微众银行对于 HTAP 架构的探索和实践情况，以及提升大规模分布式数据库运维效率的经验。内容将从四个方面展开：HTAP 技术的演进历程、微众银行在 HTAP 技术的选型以及实践、在大规模分布式数据库自动化运维的优化实践、TiDB 在微众银行的未来规划。

Serverless ，很多人认为的 Serverless 是一个技术名词。我认为不是，Serverless 更重要的是从用户体验角度定义了什么是更好的云上软件的产品形态。或者这本来就应该是理所应当的：为什么作为用户需要关心你有几个节点？为什么需要关心内部的参数和配置？为什么我点了启动，你要让我再等半小时？

CPU 最大使用率enableenableenable100%disabledisableenbale75%enabledisableenable90%enableenabledisable75%disableenableenable85%DynamicThreadPool 解决了频繁创建和销毁线程带来的开销；PageStorage v3 大大降低了 GC 和 snapshot 的开销，提升了高并发写入和查询的稳定性。这两者对提升 CPU 利用率有明显的效果。

以上就是本文的全部内容。TiCDC Server 启动，创建 Changefeed 和 ETCD 的交互过程。EtcdWorker 如何读取 ETCD 数据并且驱动 Owner 和 Processor Manager 运行。TiCDC Owner 的竞选和切换过程。下一次我们将向大家介绍 TiCDC Changefeed 内部的 Scheduler 模块的工作原理。

同盾科技是中国领先的人工智能科技企业。为了确保服务的低延迟和高可用性，同盾的技术团队不断寻找最佳的技术架构。经过长时间调研，他们最终选择了新一代分布式数据库 TiDB 作为离线层的核心数据库，。同盾科技是中国领先的人工智能科技企业，专注决策智能领域，致力于帮助政企客户防范风险、提升决策效率。

2022 年，我们一起穿越了许多荆棘时刻，面对着前所未有的不确定性。在这些挑战面前，我们发现技术和开发者扮演了重要角色。PingCAP 也在过去一年迎来了新的进化，岁末年初，我们想邀请你共同回顾属于 PingCAP 用户和开发者的 2022 年度记忆。

近些年，由于互联网的快速发展以及线上需求的爆发，。在娱乐、教育、办公等场景中涌现出许多优秀的视频直播产品。随着国内市场竞争日益白热化，加之企业出海渐成趋势，越来越多的直播公司选择走出去，寻找新的海外直播市场，借鉴国内成熟的产品、运营以及商业模式，让全球的用户都用上中国人创造的产品，LiveMe 便是成功的出海直播产品之一。LiveMe 是一个全球直播和社交平台，于 2016 年 4 月推出。

作为 TiDB 版本 6 的第二个长期支持版，TiDB 6.5 已经发布。我们希望借助这个版本为更多用户提供更易用且更成熟的企业级数据库。更详细的变更情况请参阅。欢迎各位和我们一起开启新的奇妙旅程。

我们需要定义完整是什么。在这里，“完整”的主体是 TiDB 中的事务，我们知道 TiDB 的事务会有两个写入事件，第一个是 prewrite，第二是 commit 或者 rollback。同时，TiDB 事务可能会涉及多个 key，这些有可能分布在不同的 region 上。所以，我们说“完整”地捕捉一个事务需要捕捉它涉及的所有的 key和所有的写入事件。上图描绘了一个涉及了三个 key 的事务，P 代表事务的 prewrite，C 代表事务的 commit，虚线代表一次捕捉。

制造业是一个古老而悠久的行业，它的起源最早可追溯到石器时代。从新石器时代简单的工具，到今天复杂的智能工厂，制造业历经千年发展，蜕变成了由技术驱动的创新行业，充满各种自动化流程、始终互连的设备和数据丰富的流程。本文将以数益工联数字化工厂为例，介绍“离散型”制造业面临的数据挑战，以及分布式 HTAP 数据库 TiDB 如何助力工业数据价值的挖掘。

PingCAP 是业界领先的企业级开源分布式数据库企业，提供包括开源分布式数据库产品、解决方案与咨询、技术支持与培训认证服务，致力于为全球行业用户提供稳定高效、安全可靠、开放兼容的新型数据服务平台，解放企业生产力，加速企业数字化转型升级。目前，PingCAP 已经向包括中国、美国、欧洲、日本、东南亚等国家和地区，超过 3000 家企业提供服务，涉及金融、运营商、制造、零售、互联网、政府等多个行业。PingCAP 创始人兼 CEO 刘奇表示，“我们相信，Forrester 在其新报告中纳入 PingCAP，

在 2022 年中，HTAP、Serverless、云原生、智能化成为全球数据技术的热门趋势。在刚刚结束的 PingCAP DevCon 2022 上，PingCAP 联合创始人兼 CTO 黄东旭、中国信息通信研究院云计算与大数据研究所副所长魏凯、云和恩墨创始人& CTO 盖国强、联易融副总裁沈旸、云启资本合伙人陈昱等嘉宾，与主持人 PingCAP 副总裁刘松进行了圆桌讨论。。以下为圆桌实录。

券商是一个古老的行业，发展至今已经历了三个时代：第一代券商为传统券商，在线下交易大厅进行买卖；第二代券商开始了电子化进程，从线下到线上进行了浅层服务的转移，改善了用户体验，提高了金融服务的效率；老虎国际作为第三代券商的代表，是一家全球知名的国际化券商，在新加坡、美国、中国香港、澳大利亚等地持有 59 张牌照或资质，在全球多地开展业务。投资者在老虎国际可通过一个账户交易美股、港股、A 股（沪港通/深港通）、星股（新加坡股）、澳股（澳大利亚股）、期货、基金等全球主要市场的金融产品，享受一流的投资体验。

最近很火的 FinOps，说白了就是如何科学地利用云去省钱。这意味着什么呢？意味着就连计费方式以及筛选的策略对于用户来说都是非常复杂的事情，复杂到需要用另外一套工具来去做优化，以帮助用户作出正确的决策。**我们再往前看一下，今天的开发者到底是怎么去思考开发应用的？**这里我想分享一个最近特别喜欢的公司——Vercel，是一个非常偏向于开发者开发流程和体验的平台，在它的首页有三个英文单词：Develop（开发）、Preview（预览）和 Ship（上线），这其实就是一个开发者的视角。

12 月 1 日 PingCAP DevCon 2022 产品技术论坛，聚焦数据技术前沿趋势与应用，PingCAP 产研“最佳阵容”将重点围绕 Serverless、TiDB 新特性、性能调优、稳定性设计、技术生态、应用场景等领域展开分享和探讨， 帮助您快速了解 TiDB 的硬核技术与最新发展方向，助您提升业务场景的服务与创新能力。报名活动关注「TiDB Club」消息推送参与活动，分享生成的海报，邀请 3 人报名成功，即可获得 PingCAP 定制款飞盘一个， 数量有限，先到先得！

2022 年 11 月 1 日，企业级开源分布式数据库厂商 PingCAP 在 HTAP Summit 上宣布 TiDB Cloud Serverless Tier BETA 版正式发布 ，这是一种完全托管的全自动 HTAP 数据库服务，使开发者能够以最经济的方式部署其基础设施。[图片]TiDB Cloud Serverless Tier 专为规模化交易、实时分析和混合工作负载以及流量激增的应用程序而构建，可以自动扩缩容以满足实时需求。

本篇博客介绍了 TiKV 的基本概念，TiKV 读写路径上的三个重要模块（KVService，Storage，RaftStore）和断点调试 TiKV 学习源码的方案希望本博客能够帮助对 TiKV 开发感兴趣的新同学尽快了解 TiKV 的 codebase。

之前我们通过加很多 HINT 的方式来保证查询计划的稳定，但当业务不断变化时会增加很多索引，调整 DDL ，导致之前的 HINT 失效，为了解决这样的问题我们和 OSS Insight 研发工程师一起，不停打磨重构 TiDB 的优化器，现在不光研发工程师不再需要写 HINT ，我们发现 TiDB 的智能优化水平比人工写 HINT 提速了 20-30%。第一个例子是中通快递。最关键的一点，PingCAP 从开始到现在，始终保持以客户成功为核心的企业文化，从产品研发到技术服务，与用户共同面对不确定性的挑战。

让没有太多知识背景的人也能快速上手。ps：参加 TiDB 产品组的小伙伴，想给 TiDB 组件增加新功能的，快来围观！假设我们想要将 SST 文件导入 TiDB 中，通过新增。

本文回顾了 PingCAP 创始人兼 CEO 刘奇在 9 月 22 日的 用户峰 会 上以《现在决定未来》为主题的演讲， 分享了 PingCAP 在技术演进、用户价值、数据库技术趋势、国际化、社会价值等方面的思考， 同时也记录了建信金科、百胜中国、传音控股、老虎国际等用户在刘奇的演讲中分享的最佳实践。全文字数约 8,800，预计阅读时间 20 分钟。[图片]PingCAP 到今天已经成立 7 年了，在全球拥有 3,000 多家大中型用户，其中很多还参与到 TiDB 开源社区的建设中，这些情况如果放到创业之

本文主要介绍了数据库系统中常用的算子 Join 和 Aggregation 在 TiFlash 中的执行情况，包括查询计划生成、编译阶段与执行阶段，以期望读者对 TiFlash 的算子有初步的了解。

本文主要系统性地介绍了 TiFlash 表达式的基本概念，包括表达式体系，标量函数、聚合函数等，以期望读者能够对 TiFlash 的表达式计算有一个初步的了解。

在前面的介绍中，大家应该对 TiFlash 如何存储、计算有了一定的了解。那么今天我们主要讲解一下 TiFlash 如何被添加副本，以及获得数据的。如何对一张表添加一个 TiFlash 副本呢？是通过下面的指令也就是说，此时这张表对应的数据已经在集群中的 TiKV 上被存储了，我们实际上需要的是将数据从 TiKV 导入到 TiFlash 的存储中。有很多方案可以做到这一点，我们有一个很棒的产品 TiCDC，指定 TSO，它可以捕捉 TiKV ChangeLog，并将 TSO 时刻对应的状态同步到下游支持 M