TiDB_PingCAP 的博客

将一个 Changefeed 所有需要被同步的表，分发到不同的 TiCDC 节点上进行同步工作，以达到负载均衡的目的。维护每张表的同步进度，同时推进 Changefeed 的全局同步进度。本次介绍的 Scheduler 相关代码都在Coordinator 运行在 Changefeed，是 Scheduler 的全局调度中心，负责发送表调度任务，维护全部同步状态。Agent 运行在 Processor，它接收表调度任务，汇报当前节点上的表同步状态给 Coordinator。

Serverless ，很多人认为的 Serverless 是一个技术名词。我认为不是，Serverless 更重要的是从用户体验角度定义了什么是更好的云上软件的产品形态。或者这本来就应该是理所应当的：为什么作为用户需要关心你有几个节点？为什么需要关心内部的参数和配置？为什么我点了启动，你要让我再等半小时？

CPU 最大使用率enableenableenable100%disabledisableenbale75%enabledisableenable90%enableenabledisable75%disableenableenable85%DynamicThreadPool 解决了频繁创建和销毁线程带来的开销；PageStorage v3 大大降低了 GC 和 snapshot 的开销，提升了高并发写入和查询的稳定性。这两者对提升 CPU 利用率有明显的效果。

以上就是本文的全部内容。TiCDC Server 启动，创建 Changefeed 和 ETCD 的交互过程。EtcdWorker 如何读取 ETCD 数据并且驱动 Owner 和 Processor Manager 运行。TiCDC Owner 的竞选和切换过程。下一次我们将向大家介绍 TiCDC Changefeed 内部的 Scheduler 模块的工作原理。

作为 TiDB 版本 6 的第二个长期支持版，TiDB 6.5 已经发布。我们希望借助这个版本为更多用户提供更易用且更成熟的企业级数据库。更详细的变更情况请参阅。欢迎各位和我们一起开启新的奇妙旅程。

我们需要定义完整是什么。在这里，“完整”的主体是 TiDB 中的事务，我们知道 TiDB 的事务会有两个写入事件，第一个是 prewrite，第二是 commit 或者 rollback。同时，TiDB 事务可能会涉及多个 key，这些有可能分布在不同的 region 上。所以，我们说“完整”地捕捉一个事务需要捕捉它涉及的所有的 key和所有的写入事件。上图描绘了一个涉及了三个 key 的事务，P 代表事务的 prewrite，C 代表事务的 commit，虚线代表一次捕捉。

已于近期新增了对 TiDB 容器的支持。以后，在 Java 的应用程序中，你可以直接使用 Java 代码控制并创建 Docker 容器来使用 TiDB，并管理它的生命周期，而无需编写外部脚本，这将极大地简化开发流程。本文介绍了如何通过 testcontainers-java 创建和管理 TiDB 实例。

本篇博客介绍了 TiKV 的基本概念，TiKV 读写路径上的三个重要模块（KVService，Storage，RaftStore）和断点调试 TiKV 学习源码的方案希望本博客能够帮助对 TiKV 开发感兴趣的新同学尽快了解 TiKV 的 codebase。

本文主要介绍了数据库系统中常用的算子 Join 和 Aggregation 在 TiFlash 中的执行情况，包括查询计划生成、编译阶段与执行阶段，以期望读者对 TiFlash 的算子有初步的了解。

本文主要系统性地介绍了 TiFlash 表达式的基本概念，包括表达式体系，标量函数、聚合函数等，以期望读者能够对 TiFlash 的表达式计算有一个初步的了解。

在前面的介绍中，大家应该对 TiFlash 如何存储、计算有了一定的了解。那么今天我们主要讲解一下 TiFlash 如何被添加副本，以及获得数据的。如何对一张表添加一个 TiFlash 副本呢？是通过下面的指令也就是说，此时这张表对应的数据已经在集群中的 TiKV 上被存储了，我们实际上需要的是将数据从 TiKV 导入到 TiFlash 的存储中。有很多方案可以做到这一点，我们有一个很棒的产品 TiCDC，指定 TSO，它可以捕捉 TiKV ChangeLog，并将 TSO 时刻对应的状态同步到下游支持 M

在前面的源码分析中对 TiFlash 的计算层和存储层都进行了深入的分析，其中 TiFlash DeltaTree 存储引擎设计及实现分析 (Part 1) TiFlash DeltaTree 存储引擎设计及实现分析 (Part 2) 对 TiFlash 存储层的读写流程进行了完整的梳理，如果读者没有阅读过这两篇文章，建议阅读后再继续本文的阅读。这里简单回顾一下，TiFlash 存储层的数据是按表分开存储的，每张表的数据会根据 Handle Range 切分为多个 Segment，每个 Segment

使用 TiKV 和 TiFlash 可以加速复杂查询，下面简单增加了使用使用场景。组件适用场景说明TiKV检索条件固定，且有索引TiFlash检索条件不固定，无法加索引部分表检索条件不固定，部分表有索引如果有描述不当的地方欢迎评论指正！...

TiDB 6.0 正式提供了数据放置框架（Placement Rules in SQL ）功能，用户通过 SQL 配置数据在 TiKV 集群中的放置位置，可以对数据进行直接的管理，满足不同的业务场景需要。如：我们的 HTAP 集群目前有一个数据归档需求，整个集群共约 330TB，考虑到成本和访问频率、性能等各方面需求，要求至少存储 3 个月共约 80TB 到 ssd，250TB 存到 hdd。...

作者介绍： 林佳，网易互娱计费数据中心实时业务负责人，实时开发框架 JFlink-SDK 和实时业务平台 JFlink 的主程，Flink Code Contributor。本文由网易互娱计费数据中心实时业务负责人林佳老师分享，主要介绍网易数据中心在处理实时业务时为什么选择 Flink 和 TiDB，以及两者的结合应用情况。今天主要从开发的角度来跟大家聊一聊为什么网易数据中心在处理实时业务时，选择 Flink 和 TiDB。首先，TiDB 是一个混合型的 HTAP 分布式数据库，具备一键水平伸缩、.

自 TiDB 5.0 发布以来，陆续在金融、互联网 & 新经济、物流等行业用户的生产环境得到应用，收获不少用户的积极评价：TiDB 服务 58 金融、安居客等数仓报表的复杂读取与关联查询，在多表关联查询中，相比 4.0 版本性能最高提升达 90%；经过网易互娱场景实测，与 4.0 相比 TiDB 5.0 整体性能表现更加稳定，没有出现明显的抖动；TiDB 5.0 在汽车之家大数据 join 与聚合场景的应用中，MPP 体现出明显的优势，与 MySQL 相比总体效能提升 20 - 50 倍。“

上篇文章中，我们介绍了 TiDB Operator 的组件生命周期管理的编排，以 TiDBCluster Controller 为例介绍 Controller Manager 的实现。TiDBCluster Controller 负责了 TiDB 主要组件的生命周期管理，TiDB 各个组件的 Member Manager 封装了对应具体的生命周期管理逻辑。在上篇文章中，我们描述了一个抽象的组件生命周期管理的实现，本文中，我们将以 PD 为例详细介绍组件生命周期管理的实现过程和相关代码，并且以 PD 的介绍为

AskTUG.com 技术问答网站相信大家都不陌生，但除了日常熟知的前端页面外，背后支撑其运行的数据库还有一个不为人知的故事。本文由 AskTUG.com 的作者之一王兴宗老师分享，揭秘诞生于 Discourse 的 AskTUG.com ，从 PostgreSQL 迁移到 MySQL 最后稳定运行在 TiDB 的奇妙故事。一个广告：AskTUG.com 是 TiDB User、Contributor、合作伙伴的聚集地，在这里你可以找到所有 TiDB 相关问题的答案。欢迎大家注册体验～链接：

作者介绍： 李文杰，网易互娱高级数据库工程师，TUG 2019 年度和 2020 年度 MVA。主要负责大数据研发和数据分析工作，为产品提供精细化运营指导；同时在部门内推广使用 TiDB，为业务上云及数据库分布式化积累经验和探索最优方案，目前是 TiDB 管理小组负责人。本文整理自 TUG 网易线上企业行活动，由网易游戏高级数据库工程师李文杰老师分享，主要介绍分布式数据库 TiDB 在网易游戏的应用实践经验。网易游戏最开始引入 TiDB 是从 AP 的角度来进行使用的。在第一次使用 TiDB 时，我们把

近日，由 TiDB 社区重磅策划的「能量钛」圆桌论坛活动圆满落幕。本次论坛特邀云原生社区创始人宋净超老师担任主持，与来自支流科技、360、58 集团、汽车之家、PingCAP 的五位资深技术大咖，围绕 “当数据库遇上 Kubernetes” 主题，探讨了他们对数据库容器化部署及运维的实践与思考。视频回顾：https://www.bilibili.com/video/BV16q4y1j7UZ嘉宾介绍：主持：宋净超，Tetrate 布道师，云原生社区创始人。特邀嘉宾：张晋涛，支流科技云原生技术专家

智慧税务建设的关键环节就是在合适的业务场景中，综合运用人工智能、分布式等领先技术，释放大数据的智慧，实现“以数治税”。烟台市税务局基于 TiDB 分布式数据库构建新一代智慧税务平台，满足海量、实时的数据服务需求，打造智能的分析与决策能力，走出一条税务大数据创新应用的示范之路。集中式无法跨越的鸿沟税收大数据是智慧税务的重要基础，近年来烟台市税务局（以下简称：烟台税务）加强数据资源的深度挖掘、智能分析与融合共享，充分运用人工智能和大数据技术，提升税收治理水平。随着业务数据的海量增长，多个业务大表的数据均已突

PingCAP DevCon 2021 正在积极筹划准备中，本届大会以"开放 x 连接 x 预见"为主题，这绝不会只是一句空口号，它将真正融入到大会的方方面面，可以让每一位参与者真切感知，因此本届大会将开放热力图在线征集平台，连接你们中的每一位，一起预见未来！「一图胜千言」通过 TiDB “Key Visualizer” 工具，你可以具象化的看到自己对于业务的「假设」是否符合预期，我们相信，“那些最有突破性和最有创造力的解决方案，往往来自于你认识到你对问题的基本假设是错的”Key Visualizer

作者介绍: 王天宜，TiDB 社区部门架构师。曾就职于 Fidelity Investment，Softbank Investment，拥有丰富的数据库高可用方案设计经验，对 TiDB、Oracle、PostgreSQL、MySQL 等数据库的高可用架构与数据库生态有深入研究。数据仓库是公司数据发展到一定规模后必然需要提供的一种基础服务，也是“数据智能”建设的基础环节。早期数仓多为离线模式，主要处理的是 T+1 的数据，随着互联网时代的到来，实时数据处理的场景日益增多，离线数仓已无法满足业务发展的实时.

作者介绍：王天宜Prometheus + Grafana 作为一套普适的监控系统广泛应用于各种应用环境中。本文主要介绍能否将 TiDB + Prometheus 新搭建的监控系统，迁移到已有的监控系统的方案。对资源比较紧张，高可用需求不强烈的用户，我们建议直接通过 Prometheus Label 进行集群的划分，做到 All in One 的 Prometheus 监控环境。对资源宽裕，高可用需求比较强烈的用户，可以考虑使用 Prometheus 多租户的解决方案。Grafana 作为一个无状.

本篇文章整理自知乎在线基础架构负责人白瑜庆在 PingCAP Infra Meetup 上的演讲实录。本文讲述了知乎与 TiDB 的渊源，介绍了一款基于 TiDB 生态研发的开源产品 Zetta，能够在规避 HBase 性能问题同时，减小 TiDB 部署后分布式架构下的系统延迟。背景概况BigTable 数据模型在开始介绍 Zetta 之前，我们先来看看 BigTable。BigTable 是一个稀疏的多维度的有序的表（Sparse multidimensional sorted map），它是谷歌开

作者介绍：童牧。绪论在程序员的生涯中，bug 一直伴随着我们，虽然我们期望写出完美的程序，但是再优秀的程序员也无法保证自己能够不写出 bug。因此，我们为程序编写测试，通过提前发现 bug 来提高最终交付程序的质量。我从在 PingCAP 的工作中感受到，做好数据库和做好数据库测试是密不可分的，本次分享，我们将在第一讲的事务隔离级别的基础上，对数据库事务的测试进行研究，主要讲述，在 PingCAP 我们是如何保证事务的正确性的。因为我们保证事务正确性的方法比较多，所以本次我们会着重讲解 Jepse.

本篇文章整理自腾讯互娱高级工程师吴召军在 PingCAP Infra Meetup 上的演讲实录，欢迎点击【阅读原文】查看视频回放，后台回复 “135” 即可获取本期 PPT 链接。本文首先介绍了腾讯互娱面临的复杂的技术场景，然后介绍了腾讯互娱混沌工程团队基于 Chaos Mesh 打造的云原生混沌工程平台，最后分享腾讯互娱近半年混沌工程实践取得的收益。腾讯互娱运营活动每天的访问人次超过 100 亿次，高峰的 QPS 超过 100 万，每天活动代码发布更新超过 500 次，数据量也超过 200 TB。面

作者：@Ed Huang，CTO & Co-founder, PingCAP作为一个在中国的数据库软件从业者，最近被不少朋友在微信上询问业内某厂商「团队整合」的新闻，我其实并不想对这个事情发表什么评论。我始终坚信：基础软件，未来只有开源一条路。如果不开源，或者说内核不开源的话，产品的生命力是有限的。所以，在这里想分享一些我个人有关开源与闭源的看法，希望大家看完这篇文章后能够有些自己的思考 :）顺便提一下，看到这个标题，熟悉开源运动的朋友肯定会心一笑，没错，作为 ESR 的门徒，我从不掩饰对于《大

全球经济数字化转型是大势所趋。加快数字经济发展，推动数字化变革已经成为未来十年经济发展的重要推动力。数字化增长带来新机遇，DTC（Direct To Customer）的模式在众多企业成为获取与服务最终客户的新趋势，但据分析机构报告显示，在全球数字化转型中，大数据项目只有 30-40% 的成功率，通过简化基础的数据平台赋能数字化转型成为一个关键话题。本文为 PingCAP 解决方案事业部总经理余军在 TiDB 5.0 发布会上进行《Insightful User Case - TiDB 行业应用场景解读》

最近有金融客户使用 TiDB 适配批处理场景，数据量在数亿级。对于相同的数据量的处理耗时，TiDB 有 35 分钟，Oracle 有 15 分钟，足足相差 20 分钟。从之前的经验来看，在批处理场景上 TiDB 的性能是要好过 Oracle 的，这让我们感到困惑。经过一番排查最终定位是批处理程序问题。调整后，在应用服务器有性能瓶颈、数据库压力依然不高且没有进行参数优化的情况下，TiDB 处理时间缩短到 16 分钟，与 Oracle 几乎持平。远程排查通过 Grafana 发现执行批处理时数据库集群的资源

TiDB 5.0 已于上周正式发布，在这个大版本更新中提升 TiDB 集群的跨中心部署能力是一个重要的着力点，在共识算法这一层，最激动人心莫过于 Joint Consensus 支持了。这个特性帮助 TiDB 5.0 在跨 AZ 的调度中完全容忍少数派数目的 AZ 不可用。本文会先谈成员变更在 TiDB 历史，然后介绍新特性的设计，最后说下我们在实现过程中遇到的问题和解决方案。成员变更TiKV 作为 TiDB 的存储层，负责数据的管理和读写操作。TiKV 将数据划分为大小大致相同的分片，每个分片会有多个

作者介绍：马晓宇，PingCAP HTAP 产品部负责人。数据实时化成为业务必须数字化转型浪潮是现在进行时，在企业数字化转型的过程中，我们看到一个普遍的趋势，企业对“海量、实时、在线”的数据需求变得更加迫切。数字化转型并不是互联网公司的专利，人工智能、大数据、物联网这些技术也不仅仅是互联网公司才会使用。事实证明，越来越多的传统企业正在应用这些新兴技术进行业务的创新。每一项新技术的应用都需要一定的技术积累，互联网公司也许会配备很多工程师来支持一个数据体系架构。但对于传统公司来说也许不具备这样的实力，他.

本文作者：陈奕霖(sticnarf)，PingCAP 研发工程师，TiKV Committer，热衷于开源技术，在分布式事务领域有丰富经验，目前致力于优化 TiDB 的分布式事务性能。TiDB 提供了原生的分布式事务支持，实现低延迟的分布式事务是持续的优化方向。TiDB 5.0 引入的 Async Commit 特性大大改善了事务提交的延迟，这一特性主要由本文作者陈奕霖(sticnarf)，以及赵磊(youjiali1995)，Nick Cameron(nrc) 和周振靖(MyonKeminta)实现.

日前，InfoQ 公布了 2021 中国技术力量之“最具吸引力雇主品牌”系列榜单评选结果。经过专家团评审及开发者投票， PingCAP 上榜 2021 最具吸引力雇主品牌 TOP 10、2021 最受技术高管喜爱的企业 TOP 10 两项榜单。本次榜单评选活动由全球知名社区网站 InfoQ 发起，希望通过本次中国技术力量之“最具吸引力雇主品牌”榜单评选活动，评选出在招聘规模、员工管理、薪酬福利、职业发展等方面具备整体优势，重视技术研发，且在人才市场有较强吸引力的企业，为 IT 从业者提供一定的择业参考。

作者简介：黄东旭，PingCAP 联合创始人兼 CTO前些天在与友人喝咖啡的时候，正好聊到关于 PingCAP 和 TiDB 的一些历史以及对于开源软件公司核心竞争力的理解，回顾这几年的创业生涯和 TiDB 社区的生长壮大，就像是一场巨大且正在进行中的社会学实验，原本零散的一些想法随着一条主线变得逐渐清晰，就想着写成文章总结一下关于社区对于开源软件以及开源公司到底意味着什么。无处不在的网络效应两种网络效应很多人听说过网络效应（梅特卡夫效应：网络的价值与联网用户的平方数成正比），许多伟大的产品和公.

前不久，PingCAP 刚刚度过六岁生日。对于数据库这样一个古老的行业，六年只是刚刚起步。TiDB 5.0 的发布就像一个庆祝成长的生日礼物，为 TiDB 带来了一个具有里程碑意义的版本。通过引入 MPP （Massively Parallel Processing，大规模并行处理）架构，年轻的 TiDB 已经成为一款具备完整 HTAP 能力的分布式数据库。PingCAP 联合创始人兼 CTO 黄东旭在 TiDB 5.0 发布会上进行了《What’s Next? 新一代数据库的构想》的精彩演讲，讲述了 T

2021 年 4 月 25 日——领先的企业级开源分布式数据库厂商 PingCAP 正式发布面向企业级核心场景的 TiDB 5.0 版本。TiDB 5.0 在性能、稳定性、易用性等方面均取得了巨大进步，并在事务处理、高可用与容灾、安全合规等方面新增多项企业级特性，通过引入 MPP （Massively Parallel Processing，即大规模并行处理）架构成为具备完整 HTAP 能力的分布式数据库，为高成长企业和数字化创新场景提供一栈式数据服务平台。2020 年以来，企业数字化转型进入深水区，行业

一月末，一位大三的少年登上了知乎热榜，有数百万人浏览了迟先生的“凡尔赛”语录：“即使一周实习 3 天，我依然拿到了上海交通大学计算机学院第一的绩点。”迟先生是上海交通大学的计算机系学生，同时，他也有着另外一个身份：CNCF TiKV 项目有史以来最快晋升为 Committer 的开发者。在一个风和日丽的下午，他接受了我们的专访。—— TiKV 优秀 Committer 迟先生（Alex Chi）专访编程学习之路“如果你不爱一件事，你不可能把它做得真正优秀。”——Paul Graham《黑客与画家.

日前，中国计算机学会（CCF） 数据库专业委员会与企业级开源分布式数据库厂商 PingCAP 签署合作协议，PingCAP 成为数据库专业委员会 VLDB Summer School 的独家协办单位，依托双方在数据库学术界的前沿探索和工业界的实践经验，在人才培养、科研合作、技术创新等领域共同前进。 CCF 原数据库专委会主任、CCF 数据库专委会VLDB Summer School 校长杜小勇、CCF 数据库专委会秘书长陈跃国、PingCAP 创始人兼 CEO 刘奇、PingCAP 联合创始人兼 CTO 黄

上篇文章中，我们介绍了 TiDB Operator 的 Controller Manager 的设计和实现，了解了各个 Controller 如何接受和处理变更。在这篇文章中，我们将讨论组件的 Controller 的实现。TiDBCluster Controller 负责了 TiDB 主要组件的生命周期管理，我们将以此为例， 介绍组件控制循环的编排设计。我们将会了解到完成 TiDB 集群的生命周期管理过程中，各种控制循环事件经过了怎样的编排，这些事件中又完成了哪些资源管理操作。在阅读时，大家了解这些工作的