TiDB_PingCAP-CSDN博客

原创 PingCAP 携手 CCF 数据库专委会打造“开源数据库领域拔尖创新人才培育计划”，共塑数据库教育未来丨NDBC 2024

2024 年 8 月 7 日 - 10 日，由中国计算机学会主办、中国计算机学会数据库专业委员会和新疆大学承办、新疆 IT 三会等单位协办的第 41 届中国数据库学术会议（NDBC 2024）在新疆乌鲁木齐成功举办。

2024-08-21 01:06:26 394

原创 SHOPLINE x TiDB丨集群成本降低 50%！跨境电商 SHOPLINE 交易、商品管理等核心业务的数据库升级之路

SHOPLINE 是一家提供一站式跨境电商解决方案的公司，专注于帮助企业和个人在全球范围内建立和发展他们的在线业务。SHOPLINE 提供的服务包括但不限于在线商店搭建、多渠道销售、库存管理、支付系统整合、物流跟踪、营销工具以及客户关系管理等。通过这些服务，SHOPLINE 旨在帮助商家轻松管理他们的在线销售和客户关系，同时提供必要的技术支持和数据分析，以优化业务运营和提高转化率。

2024-08-21 01:05:52 707

原创全球化浪潮下的数据库革新：嘉里物流 TiDB 实践价值的设想

随着全球化业务的不断扩展和数据量的爆炸性增长，设想以 TiDB 为技术架构和数据架构的核心，能够有效的进行数据整合，同时帮助推进应用架构和业务架构的改善和发展，收敛和逐渐合并技术栈，减少相应的学习成本和运维成本，并且能够帮助缩小各个业务线之间集成难度。TiDB 技术架构能够帮助企业实现降本增效的目标，开源社区在推动技术创新和知识共享中也将起到重要作用。我期待 TiDB 在未来能够继续发展和完善，为更多的企业提供强大的数据管理和分析能力；

2024-08-10 23:00:25 966

原创从 MySQL 迁移到 TiDB：使用 SQL-Replay 工具进行真实线上流量回放测试 SOP

1.1 工具简介SQL-Replay 工具是一个设计用于回放 MySQL 慢查询文件和 parse-tshark 抓包文件的 GitHub 开源项目，目的是帮助评估数据库兼容性和性能。这个工具支持多种操作模式，包括解析慢查询日志、回放这些日志、将回放结果加载到数据库中以及生成报告。1.2 原理概述a. MySQL 的慢日志文件以及通过 parse-tshark 抓包生成的文件，这些日志中包括 SQL 执行时间、SQL 文本。

2024-08-10 22:59:37 1157

原创 PingCAP 崔秋当选 CCF 数据库专业委员会执行委员

崔秋表示：“作为一名开源基础软件公司的联合创始人，我深知产学研结合的重要性。我相信，通过 CCF 的支持和帮助，PingCAP 可以在产学研结合和人才培养方面发挥更大的作用，为国内数据库技术的发展贡献力量。作为新任执委，崔秋计划进一步推动产学研结合，推进设立并推动“开源数据库领域拔尖创新人才培育计划”，以人才培养为核心，建立开放、共享、协作的开源数据库学习型社区，以 Talent Plan 开源社区运营为核心开始全新的合作，共同开展开源治理、课程共建、人才培养等工作，用开源的方式培养更多的开源人才。

2024-08-10 22:59:02 260

原创 TiKV Raft 快照全流程丨TiKV 源码解读（二十二）

这个快照包含了 Region 在某一特定时间点的完整状态快照，不仅包括存储于 RocksDB 中的数据，还有 Raft 协议的状态信息，例如任期号（term）和所对应的日志索引（index）。Raft leader 在 maybe_send_append 中处理某个 Follower 的 Append RPC 的发送，如果它无法获取前置日志（pr.next_idx - 1）的任期（用于 Append 过程的匹配校验），则需要发送快照。这是为了控制快照生成的时间点，让快照尽可能地包含最新的数据。

2024-08-04 16:56:34 826

原创蔚来汽车 x TiDB丨单表超 20 亿条数据，从 MySQL 到 TiDB 的迁移思考与实践

*8. 丰富的生态系统：**TiDB 拥有一个成熟的生态系统，包括 TiFlash 提供的列式存储引擎，优化了分析型查询的性能；**6. 灵活的分区功能：**TiDB 提供了灵活的分区机制，支持 hash、range、list、key 等分区，简化了数据管理和维护工作，使得业务逻辑与数据分片解耦，提高了查询效率。通过这些特性，TiDB 不仅为蔚来提供了一个高性能、高可用的数据库解决方案，还通过其强大的生态系统，支持蔚来在数据管理和分析方面的需求，推动了业务的持续创新和发展。

2024-08-04 16:53:34 844

原创 TCL 实业 x TiDB丨从分销转向零售，如何考虑中台建设和数据库选型？

虽然线上业务自带数字化属性，但是 TCL 实业选择优先把线下业务与新方舟中台对接，蔡玖发对此解释了背后的原因：“第一，是因为线下业务本身具备一些公共能力，在完成线下部分的同时，线上的大量工作也同步进行了；在数字化转型的浪潮中，TCL 实业通过“新方舟”项目构建统一中台，实现了从分销向零售的转型，显著提升了业务精准度和效率。”在蔡玖发看来，分布式代表了先进性，它的架构更灵活，动态扩容能力能够从容应对峰值冲击，并且具有更好的拓展性，不会随着表数据量增长导致效率下降，整个架构体系更简单、管理运维成本也更低。

2024-08-04 16:45:06 811

原创 TiDB Hackathon 2024丨用 TiDB 构建未来的 AI 创新应用，瓜分超￥210,000 奖金池！

TiDB Serverless 是一款超轻量级、完全托管的 MySQL 兼容数据库，提供自动扩缩容、HTAP（混合事务和分析处理）能力，并内置向量搜索功能。值得一提的是，TiDB Serverless 将大大简化你的 AI 应用开发流程，只需点击几下，即可部署和配置一个具备完整功能的 Serverless TiDB 数据库！

2024-07-25 13:55:57 940

原创平凯星辰亮相 2024 中国国际金融展，发布银行交易明细查询白皮书

同时，数据库需要具备高效的同城双活灾备方案，以保障在灾难情况下系统的稳定性和数据的安全性。查询方式的多样化、时间跨度的灵活性和效率的实时性对查询系统的数据存储和计算提出了更高的要求。《场景解决方案白皮书——银行领域交易明细查询》在分析历史明细查询数据库架构的基础上，重点介绍了基于 TiDB 分布式数据库的新一代交易明细查询解决方案，分享了中国头部金融机构的应用实践，旨在为银行及其他金融机构在构建新一代分布式核心系统和统一查询平台过程中提供深度洞察和实用参考，助力金融机构充分挖掘数据潜力，显著提升用户体验。

2024-07-25 13:55:25 584

原创杭州银行 x 平凯星辰 TiDB “行领柜面系统”荣获 2024 “金鼎奖”

作为杭州银行新一代核心系统关联度高的另一自主研发的关键业务系统，“行领柜面系统” 是业内首家采用移动端平板作为柜面主体设备的银行柜面系统。在外设层面，系统通过标准化客户端和外设的协议接口，实现通用的软硬件交互方案，利用悬臂支架和拓展坞集成化管理柜面高拍仪，扫码枪，结构光摄像头，读卡器等常用外设，在简化柜面空间的同时，节约了多种厂商设备的对接开发成本。，极大提升客户体验。同时，通过数据埋点，结合 AI、大数据分析等技术，系统可以形成精准的客户画像和专业知识库，为柜员更好地开展各项业务活动保驾护航。

2024-07-25 13:54:11 193

原创 PingCAP 王琦智：下一代 RAG，tidb.ai 使用知识图谱增强 RAG 能力

本文整理自 TiDB 生态系统架构师及高级开发者 Advocate 王琦智在墨天轮数据库沙龙的分享：《下一代RAG，tidb.ai 使用知识图谱增强 RAG 能力》，以下为演讲实录。

2024-07-23 09:30:00 626

原创平凯星辰黄东旭出席 2024 全球数字经济大会 · 开放原子开源数据库生态论坛

平凯星辰（北京）科技有限公司联合创始人黄东旭发表了题为《TiDB 助力金融行业关键业务系统实践》的主题演讲，并参与了《开源与闭源，在行业应用中的发展潜能》的圆桌对话，与产业同仁共话心得体会。

2024-07-11 18:13:29 633

原创 HTAP 数据库在国有大行反洗钱场景的应用

本文深入探讨了国产 HTAP 分布式数据库 TiDB 在某国有大行反洗钱系统中的应用实践。

2024-07-11 18:12:35 1002

原创唐刘：当 SaaS 爱上 TiDB（一）- 行业挑战与 TiDB 的应对之道

系列文章将从技术原理和真实用户体验两个角度深入探讨 TiDB 在 SaaS 业务中的表现，包括如何应对可扩展性、多租户管理、运维便利性、高可靠性等挑战。

2024-07-11 18:11:17 1119

原创国产化新标杆：TiDB 助力广发银行新一代总账系统投产上线

作为新一代总账系统数据底座的 TiDB 企业版，以其原生分布式数据库的高性能、高稳定性、高扩展性和安全可控的特点，通过创新的 HTAP 架构设计和丰富的国产化数据技术生态，为广发银行提供了坚实的技术保障。

2024-07-07 22:24:33 645

原创 PingCAP 成为全球数据库管理系统市场增速最快的厂商

企业级开源分布式数据库厂商 PingCAP 以 97.9% 的增长率超越 Snowflake，ClickHouse 和 Cockroach Labs 成为全球数据库管理系统市场增速最快的厂商。

2024-07-07 22:20:26 392

原创 Dify + TiDB Vector,快速构建你的AI Agent

随着人工智能技术的蓬勃发展，AI Agent 不再只是科技巨头的专属。如今，每个人都可以成为 AI 的创造者和使用者。Dify，一个开源的 LLM 应用开发平台，以其简洁的界面和强大的功能，让模型管理、RAG 搭建和 Agent 开发变得简单直观，而 TiDB Vector 的向量搜索功能可以为 AI Agent 提供灵活的数据处理能力。本文将介绍如何通过 Dify 和 TiDB Vector 这两个工具，快速搭建起一个功能完备的 AI Agent。

2024-07-07 19:44:07 930

原创 TiDB 资源管控的对撞测试以及最佳实践架构

本文将从业务角度切入，通过对不同类型业务(OLTP 和 OLAP)在资源管控下的表现进行详尽分析，探讨在动态发展模式下，如何优化TiDB 的资源管理策略。我们将深入研究同一计算节点和不同计算节点上的压力测试结果，揭示资源管控在不同业务类型之间的相互影响并提出最佳实践架构建议，以实现更稳定高效的系统性能。

2024-07-04 17:58:36 947

原创多点 Dmall x TiDB：出海多云多活架构下的 TiDB 运维实战

作者：多点，唐万民时隔 2 年，在 TiDB 社区成都地区组织者冯光普老师的协助下，TiDB 社区线下地区活动再次来到成都。来自多点 Dmall 的国内数据库负责人唐万民老师，在《出海多云架构，多点 TiDB 运维实战》的主题分享中，介绍了多点在出海业务场景部署和使用 TiDB 的经历。本文根据唐万民老师的演讲实录进行整理，你可以从中了解到多点从无到有，使用 TiDB 的业务场景，多云架构的实践经验，以及版本升级遇到问题的解决方案。

2024-05-15 02:11:11 946

原创 PingCAP 黄东旭参与 CCF 秀湖会议，共探开源教育未来

PingCAP 相信，通过持续的努力和合作，开源教育将为技术创新和人才培养提供更广阔的平台，推动整个行业的发展。每个研讨会均针对某一个具体的前沿问题讨论交流为主，仅限发起人邀请的一线专家参与，不对外开放，会期 3 天，要求参会者全程参会，不能中途离会，引导科学家、企业技术专家及教育专家在浮躁的社会中沉下心来钻研学术。经过三天的会议，嘉宾们围绕开源教育的核心内涵、开源教育的需求与难点、开源课程资源建设、高校等科研机构的人才培养模式优化、开源通识和普及教育的开展等方面形成了初步的共识。

2024-05-15 02:10:16 453

原创银行核心背后的落地工程体系丨混沌测试的场景设计与实战演练

混沌工程是一种全面的测试方法，它覆盖了从应用层前端到底层硬件环境的所有环节，确保整个系统在面对各种异常和故障时的稳定性和弹性。本文将聚焦于与 TiDB 分布式数据库相关的混沌工程场景。混沌工程和普通测试在软件系统工程中都扮演着重要的角色，但它们关注的质量属性和测试实施的方式存在明显差异。混沌工程更侧重于系统的健壮性和在面对异常情况时的响应能力，而普通测试则侧重于验证系统的功能正确性和性能指标。两者的差异详见下表：在着手进行混沌测试的场景设计和实施之前，有几个关键问题需要我们深思熟虑：

2024-05-15 02:08:53 491

原创 PingCAP 戴涛：构建面向未来的金融核心系统

作者：戴涛近日，平凯星辰解决方案技术部总经理戴涛在 2024 数据技术嘉年华活动中，做了主题为“构建面向未来的金融核心系统”的分享，本文为戴涛演讲实录的全文。文章分析了中国金融行业的发展趋势，并且基于这些趋势对数据库选择从架构、运维和开发三个视角进行展开。通过平凯星辰多年的金融行业实施经验和丰富案例，基于 TiDB 构建金融核心系统是一条可重复、可复制、具备先天技术优势的路径。随着金融科技的兴起，银行业正面临着深刻的变革。

2024-05-13 01:14:07 990

原创从 Oracle 到 TiDB，国有大行打造本地生活 APP 新体验

本文介绍了某国有大行推出的本地生活服务类 APP 在数字时代的创新应用实践。为缓解生活 APP 业务的高 TPS 并发访问以及海量数据带来的性能压力，经过对市场主流分布式数据库的调研，并结合自身业务场景实践，最终决定采用新一代 HTAP 数据库 TiDB 替换原系统中的 Oracle RAC，从而提升整个系统的处理能力、扩展能力和服务能力。面对如此迅猛的业务发展和数据量增长，原有的技术架构（主要采用集中式数据库以及抢券服务的分库分表的技术架构）已经无法满足业务需求，无法做到对应用透明的快速弹性扩展。

2024-05-13 01:13:16 374 2

原创 TiDB + ES：转转业财系统亿级数据存储优化实践

目前，业财系统已成功完成底层数据存储的切换，可以看到近几年来不再担心数据量存储的问题，并且成功接入了更多的业务数据。随着引入了 Elasticsearch（ES），业务人员也不再反馈报表页面超时等问题。这次针对数据存储的优化实质上是对系统的重构，选择方案时考虑了对系统影响范围较小且不影响业务人员使用的因素，这也是优化的核心所在。由于历史原因，业财系统仍存在许多需要优化的方面，如慢 SQL 的持续治理、定时任务优化等。因此，我们需要保持此优化的核心理念，并在后续的重构中继续完善，以使业财系统更加稳定。

2024-05-13 01:12:35 468

原创为什么公共事业机构会偏爱 TiDB ：TiDB 数据库在某省妇幼健康管理系统的应用

在数据库合并后，表的数量分布如下：超过 10 万条数据的表数量为 792 张，超过 100 万条数据的表数量为 156 张，超过 1000 万条数据的表数量为 58 张，以及超过 1 亿条数据的表数量为 5 张。考虑到妇幼数据的重要性，在政务云实施搭建一地两中心，通过 TiCDC 实现主库集群实时将数据写入到从集群，同时从集群担负报表业务以及研发测试库环境，让我们初步实现了一地两中心的设想。在过去的架构下，如果 DBA 或业务人员不小心进行了危险操作，恢复起来非常困难，只能依托于备份恢复来实现。

2024-05-01 02:47:15 1029

原创 TiDB Vector 太香啦：以图搜图初体验！

本文是来自 TiDB 社区用户对 TiDB Vector 功能初体验的详细分享，hey-hoho 介绍了他从申请体验到实际操作的全过程，包括创建 TiDB Vector 实例、进行向量检索的初体验，以及实现以图搜图和自然语言搜图的基础应用。在以往，想在关系型数据库中对非结构化数据实现搜索是一件不敢想象的事，哪怕是号称无所不能的 PostgreSQL 在向量插件的加持下也没有获得太多关注，这其中有场景、性能、生态等各方面的因素制约。没错，向量也能加索引，但这个索引和传统的 B+ Tree 索引有些区别。

2024-05-01 02:46:37 997

原创银行核心背后的落地工程体系丨Oracle - TiDB 数据迁移详解

本文作者：张显华，孟凡辉，庄培培数据库技术专家，Oracle ACE，PostgreSQL ACE Director当前，国内大量的关键行业的核心系统正在实现国产化替代，而与此同时，这些行业的数字化转型也正在进入深水区。在信息系统的升级换代过程中，夯实 IT 基础设施是极其关键的。从服务器、操作系统、中间件、数据库等基础软硬件选型到系统架构、应用架构的重新设计，再到数据迁移、系统迁移、系统优化、运维体系重构的一系列工作都是十分具有挑战性的。大多数工作中，都会遇到无法完全参考前人的探索和创新。

2024-05-01 02:45:52 921 1

原创巧用 TiCDC Syncpiont 构建银行实时交易和准实时计算一体化架构

因为落地数据计算量大，并且有准实时性的要求，为了不影响实时业务，落地计算是通过 TiDB 备集群 2 进行计算，该集群的数据来自 TiCDC 从实时集群同步过来的准实时数据。资格应用在实时集群完成一笔业务后，只需要记下业务完成时的时间戳，然后在备集群中去查询 tidb_cdc.syncpoint_v1 中 max(primary_ts)，如果获取到的 primary_ts 大于当时业务记录的完成时间戳，就代表该业务已经在备集群完成，应用就可以针对该笔业务，计算用户当前的资格。

2024-05-01 02:43:54 1178

原创 TiDB 组件 GC 原理及常见问题

实现的了解，我们知道 TiDB 集群具体的数据存储在 TiKV 上，集群的元数据信息存在 PD 上，TiDB 要做数据旧版本的回收，则需要有个类似 GC worker 的角色从 PD 拿到元数据信息然后对 TiKV 中的数据做垃圾回收工作。假设我们直接删除，删除之后，如果用户要读 t4 这个快照里面 B 的值，发现 B 上有个指向 (A，t1) 的这个 lock, 我们开始从 A 上确认事务 t1 的状态，但是在 TiKV 中找不到（A，t1) 这个事务，也就无法确认其状态。

2024-04-07 02:12:06 1249

原创 TiDB 慢查询日志分析

二是早期版本的 statements_summary_history 是纯内存表，可能由于 TiDB Server OOM 重启而导致数据丢失，而慢查询日志是存储在文件中的，因此 TiDB Server OOM 重启不会导致慢查询日志丢失。TiDB 中的慢查询日志是一项关键的性能监控工具，其主要作用在于协助数据库管理员追踪执行时间较长的 SQL 查询语句。通过记录那些超过设定阈值的查询，慢查询日志为性能优化提供了关键的线索，有助于发现潜在的性能瓶颈，优化索引以及重构查询语句，从而提升数据库的整体性能。

2024-04-07 02:11:29 1082

原创 TiDB MVCC 版本堆积相关原理及排查手段

本文介绍了 TiDB 中 MVCC（多版本并发控制）机制的原理和相关排查手段。TiDB 使用 MVCC 机制实现事务，在写入新数据时不会直接替换旧数据，而是保留旧数据的同时以时间戳区分版本。当历史版本堆积过多时，会导致读写性能下降。为了解决这个问题，TiDB 使用 Garbage Collection（GC）定期清理不再需要的旧数据。文章从 TiDB 中 MVCC 版本的生成原理、数据写入过程和 TiDB 版本堆积常见排查手段等方面进行了详细介绍。

2024-04-07 02:10:32 1147

原创唐刘：关于产品质量的思考 - 如何评估质量

这里稍微解释一下 bug 收敛，关于 bug，一般会有两条曲线，一条是 open 的 bug 数量，另一条是 closed 的 bug 数量，通常对于一个快速迭代的系统来说，open bug 的数量是大于 closed bug 的数量的，随着时间的推移，如果这个差值不断增大，没有显示出收敛的趋势，或者差值控制在一个很小的范围内，我们就会认为产品的整体质量存在风险。也就是说，我们在下一个发布的版本里面，是要尽量的去修复上一个版本漏出的 bug 的，如果不做这些事情，质量很容易就失控了。

2024-04-07 02:09:59 2942 4

原创月活超 1.1 亿，用户超 4 亿，你也在用的「知乎」是如何在超大规模 TiDB 集群上玩转多云多活的？来听听知乎代晓磊的答案！

导读代晓磊，知乎数据库负责人，同时也是 TiDB 社区北京地区组织者，一位有着 13 年数据库从业经验的数据库老兵，对数据库运维及 TiDB 有着丰富的实践经验。在“2024 新年围炉茶会”中，他分享了《TiDB 在知乎实践的那些事》话题，回顾了最近两年知乎 TiDB 实践的最新进展，以及对数据库未来发展方向的个人观点，本文根据代晓磊老师的演讲实录进行整理。视频链接：https://www.bilibili.com/video/BV1FT4y1n7fn/知乎应用 TiDB 历史非常

2024-04-06 23:19:29 697

原创金融企业区域集中库的设计构想和测试验证

先发起 test_rg1 资源组中用户的压测，RU 使用达到了 293000 左右，体现 burstable 参数在集群空闲状态下的配置效果，再发起另外两个资源组的压测，test_rg1 逐步回落到资源组配置上限 160000 左右（见图八）。区域集中库是将数据库整合落地在数据库层，通过标准化部署和细粒度资源配置，得到更高的服务可用性、规格弹性和资源利用率。多业务整合的场景中，不仅需要关注资源开销，还需要关注数据库的业务管理特性，比如 SQL 黑名单、细粒度监控、连接标识等，提升管理员的运维效率。

2024-04-06 23:18:25 1007

原创以一当十丨TiDB 在东吴证券秀财 APP 的应用实践

因此，东吴证券计划引入 TiDB 新版本的资源管控功能，结合 TiDB 的可伸缩特性，通过构建 TiDB 统一集群的方式对通用服务资源进行分配和隔离，实现对存量 MySQL 实例的归集和统一管理，提升资源利用率，降低运维投入，同时解决不同业务之间的资源争抢问题。TiDB 提供灵活的可伸缩性，除了实现大容量之外，还带来了高性能。使用 TiDB 的 HTAP 特性后，相关业务的交付效率大幅提升，整个处理流程都在 TiDB 和单一应用内完成，数据链路短，排障难度也大幅降低，极大地节省了人力和时间成本。

2024-04-06 23:17:32 744

原创夯实智慧新能源数据底座，TiDB Serverless 在 Sandisolar+ 的应用实践

在该 SaaS 系统中，SandiSolar+ 最核心的部分是打造了一个“数据中台”，系统中所有数据的搜索查询都通过“数据中台”实现。综上所述，SandisSolar+ 的 SaaS 平台对数据的实时性处理要求较高，传统的大数据、离线数仓无法满足这种实时性需求，经过对主流数据库进行选型，SandiSsolar+ 最终选择了具备 HTAP 能力的 TiDB Serverless 数据库来作为数据底座，为相关业务系统的智能化、可靠性、实时性提供了全面保障，承载了 SaaS 平台的实时数据存储、计算需求。

2024-04-06 23:15:08 956

tidb-in-action-20200611.pdf

空空如也