TiDB_PingCAP-CSDN博客

原创瓜子二手车 x TiDB 丨平均耗时降低 30%，TiDB HTAP 在瓜子二手车财务中台结账核心系统的深度实践

财务中台是连接业务系统与账务系统的中间枢纽，上游对接集团所有业务系统，将业务数据转化为财务视角的数据，从而实现集团层面的业财一体化。同时财务中台可以对线上财务数据进行统一管理与输出，不仅提升了财务月结工作时效，还可以通过财务视角对企业经营状况进行分析，支撑业务决策。系统架构财务中台分为数据接入、标准单据、核心计算、数据输出四个主模块，整体以配置为主，通过配置形式应用上下游业务变化，同时解放技术人员，完全由业务或者运营人员负责业务的对接和数据的转换。

2024-09-25 23:46:28 724

原创知乎 PB 级别 TiDB 数据库在线迁移实践

通过三个月的迁移，我们将几十套 TiDB 集群，总量 PB 级数据，通过以上各种方式，安全稳定的迁移到了新机房，在此期间，我们根据迁移方案，也开发了平台化的 DTS ，以及机房迁移模块跟进迁移进度。

2024-09-25 23:45:46 551

原创 TiDB 扩容过程中 PD 生成调度的原理及常见问题丨TiDB 扩缩容指南（一）

我们期望是将 store-3 上的 follower 迁移到 store-4 上，因此，在这一步骤，我们会将 store-4 和 store-3 上的副本的角色互换，最终 store-3 上的老副本会变成 learner, 而新节点上的副本角色变成 voter 也就是 follower.这个过程为了保证数据的安全性，实际情况分为两条调度指令执行。在扩容后，要做到整个集群的资源的快速均匀，一般跟我们 region 的数量、size 有直接关系，当然与我们集群的繁忙程度也有关系。

2024-09-14 08:58:46 636

原创基于 TiDB 资源管控 + TiCDC 实现多业务融合容灾测试

本文通过模拟环境测试验证，基于 TiDB 的资源管控能力可以实现多业务融合方案，通过给不同的业务系统分配不同的资源组，实现多套业务共享一套集群资源并且相互之间资源隔离的效果。基于 TiCDC 同步工具可以实现 TiDB 主备集群容灾，通过给不同的业务创建不同的同步链路，多个业务之间的主备同步流程互不干扰。结合资源管控及 TiCDC，我们可以实现一套多业务融合的容灾解决方案，能够满足企业客户尤其是金融机构同时具有多业务融合、容灾能力以及支持单体应用容灾切换演练等方面的需求。

2024-09-05 15:58:43 954

原创分布式数据库系统环境的“无感”升级

所有节点的连接平衡后，再进行下一组节点的操作。其间，使用数据库管理工具可添加准备下线存储节点的 Leader 角色的排斥调度，当同一数据分片 Raft 组的 Leader 角色切换到其他存储节点的数据副本后，计算节点的读写流量会随之调拨。多副本组成的 Raft 组可容忍少数派的副本成员下线，所以仅有 Follower 角色数据分片的节点进行升级重启时对业务无影响，且同一副本成员节点恢复后，将自动保持副本同步状态，管理员可通过管理工具恢复 Leader 角色的调度能力。单次滚动集群组件的批次设计见表 2。

2024-09-05 15:57:15 567

原创 PingCAP 孙晓光：TiDB Cloud Serverless 将成为 AI 应用创新的最佳搭档

同时，TiDB Cloud Serverless 建立在开源的 TiDB 内核基础上，如果你对某些功能不满意，或者想要了解功能的实现方式，代码是开放的，可以自行探索；**换句话说，如果你有一个线上数据库，并且希望为每个开发者或每个小的功能迭代快速获得一个与环境完全一致的数据库，或者你的 Data Service 希望使用与当前版本完全一致的数据源进行开发测试，你可以通过 GitHub 上的 GitHub Actions Integration 来使用 Data Branch 功能。，使其更加易于使用。

2024-08-28 06:39:51 830

原创 VLDB 2024丨与 TiDB 一起探索数据库学术前沿

在数据分析日益重要的今天，表格问答（TQA）技术正逐渐成为研究的热点。然而，现有的 TQA 方法主要处理单表问题，而现实世界中的 TQA 问题通常涉及多个表格，这带来了扩展性的挑战。为了解决这一问题，我们提出了 AutoTQA，一个自主的多表格问答框架，它利用多智能体大型语言模型（LLMs）来处理来自不同系统（如 TiDB, BigQuery）的多个表格。AutoTQA 由五个智能体组成：用户智能体接收自然语言查询，规划智能体创建执行计划，工程师智能体执行计划，执行智能体提供执行环境，批判智能体评估结果。

2024-08-28 06:39:21 1036

原创 PingCAP 携手 CCF 数据库专委会打造“开源数据库领域拔尖创新人才培育计划”，共塑数据库教育未来丨NDBC 2024

2024 年 8 月 7 日 - 10 日，由中国计算机学会主办、中国计算机学会数据库专业委员会和新疆大学承办、新疆 IT 三会等单位协办的第 41 届中国数据库学术会议（NDBC 2024）在新疆乌鲁木齐成功举办。

2024-08-21 01:06:26 445

原创 SHOPLINE x TiDB丨集群成本降低 50%！跨境电商 SHOPLINE 交易、商品管理等核心业务的数据库升级之路

SHOPLINE 是一家提供一站式跨境电商解决方案的公司，专注于帮助企业和个人在全球范围内建立和发展他们的在线业务。SHOPLINE 提供的服务包括但不限于在线商店搭建、多渠道销售、库存管理、支付系统整合、物流跟踪、营销工具以及客户关系管理等。通过这些服务，SHOPLINE 旨在帮助商家轻松管理他们的在线销售和客户关系，同时提供必要的技术支持和数据分析，以优化业务运营和提高转化率。

2024-08-21 01:05:52 754

原创全球化浪潮下的数据库革新：嘉里物流 TiDB 实践价值的设想

随着全球化业务的不断扩展和数据量的爆炸性增长，设想以 TiDB 为技术架构和数据架构的核心，能够有效的进行数据整合，同时帮助推进应用架构和业务架构的改善和发展，收敛和逐渐合并技术栈，减少相应的学习成本和运维成本，并且能够帮助缩小各个业务线之间集成难度。TiDB 技术架构能够帮助企业实现降本增效的目标，开源社区在推动技术创新和知识共享中也将起到重要作用。我期待 TiDB 在未来能够继续发展和完善，为更多的企业提供强大的数据管理和分析能力；

2024-08-10 23:00:25 1029

原创从 MySQL 迁移到 TiDB：使用 SQL-Replay 工具进行真实线上流量回放测试 SOP

1.1 工具简介SQL-Replay 工具是一个设计用于回放 MySQL 慢查询文件和 parse-tshark 抓包文件的 GitHub 开源项目，目的是帮助评估数据库兼容性和性能。这个工具支持多种操作模式，包括解析慢查询日志、回放这些日志、将回放结果加载到数据库中以及生成报告。1.2 原理概述a. MySQL 的慢日志文件以及通过 parse-tshark 抓包生成的文件，这些日志中包括 SQL 执行时间、SQL 文本。

2024-08-10 22:59:37 1213

原创 PingCAP 崔秋当选 CCF 数据库专业委员会执行委员

崔秋表示：“作为一名开源基础软件公司的联合创始人，我深知产学研结合的重要性。我相信，通过 CCF 的支持和帮助，PingCAP 可以在产学研结合和人才培养方面发挥更大的作用，为国内数据库技术的发展贡献力量。作为新任执委，崔秋计划进一步推动产学研结合，推进设立并推动“开源数据库领域拔尖创新人才培育计划”，以人才培养为核心，建立开放、共享、协作的开源数据库学习型社区，以 Talent Plan 开源社区运营为核心开始全新的合作，共同开展开源治理、课程共建、人才培养等工作，用开源的方式培养更多的开源人才。

2024-08-10 22:59:02 311

原创 TiKV Raft 快照全流程丨TiKV 源码解读（二十二）

这个快照包含了 Region 在某一特定时间点的完整状态快照，不仅包括存储于 RocksDB 中的数据，还有 Raft 协议的状态信息，例如任期号（term）和所对应的日志索引（index）。Raft leader 在 maybe_send_append 中处理某个 Follower 的 Append RPC 的发送，如果它无法获取前置日志（pr.next_idx - 1）的任期（用于 Append 过程的匹配校验），则需要发送快照。这是为了控制快照生成的时间点，让快照尽可能地包含最新的数据。

2024-08-04 16:56:34 879

原创蔚来汽车 x TiDB丨单表超 20 亿条数据，从 MySQL 到 TiDB 的迁移思考与实践

*8. 丰富的生态系统：**TiDB 拥有一个成熟的生态系统，包括 TiFlash 提供的列式存储引擎，优化了分析型查询的性能；**6. 灵活的分区功能：**TiDB 提供了灵活的分区机制，支持 hash、range、list、key 等分区，简化了数据管理和维护工作，使得业务逻辑与数据分片解耦，提高了查询效率。通过这些特性，TiDB 不仅为蔚来提供了一个高性能、高可用的数据库解决方案，还通过其强大的生态系统，支持蔚来在数据管理和分析方面的需求，推动了业务的持续创新和发展。

2024-08-04 16:53:34 899

原创 TiDB Hackathon 2024丨用 TiDB 构建未来的 AI 创新应用，瓜分超￥210,000 奖金池！

TiDB Serverless 是一款超轻量级、完全托管的 MySQL 兼容数据库，提供自动扩缩容、HTAP（混合事务和分析处理）能力，并内置向量搜索功能。值得一提的是，TiDB Serverless 将大大简化你的 AI 应用开发流程，只需点击几下，即可部署和配置一个具备完整功能的 Serverless TiDB 数据库！

2024-07-25 13:55:57 999

原创平凯星辰亮相 2024 中国国际金融展，发布银行交易明细查询白皮书

同时，数据库需要具备高效的同城双活灾备方案，以保障在灾难情况下系统的稳定性和数据的安全性。查询方式的多样化、时间跨度的灵活性和效率的实时性对查询系统的数据存储和计算提出了更高的要求。《场景解决方案白皮书——银行领域交易明细查询》在分析历史明细查询数据库架构的基础上，重点介绍了基于 TiDB 分布式数据库的新一代交易明细查询解决方案，分享了中国头部金融机构的应用实践，旨在为银行及其他金融机构在构建新一代分布式核心系统和统一查询平台过程中提供深度洞察和实用参考，助力金融机构充分挖掘数据潜力，显著提升用户体验。

2024-07-25 13:55:25 632

原创杭州银行 x 平凯星辰 TiDB “行领柜面系统”荣获 2024 “金鼎奖”

作为杭州银行新一代核心系统关联度高的另一自主研发的关键业务系统，“行领柜面系统” 是业内首家采用移动端平板作为柜面主体设备的银行柜面系统。在外设层面，系统通过标准化客户端和外设的协议接口，实现通用的软硬件交互方案，利用悬臂支架和拓展坞集成化管理柜面高拍仪，扫码枪，结构光摄像头，读卡器等常用外设，在简化柜面空间的同时，节约了多种厂商设备的对接开发成本。，极大提升客户体验。同时，通过数据埋点，结合 AI、大数据分析等技术，系统可以形成精准的客户画像和专业知识库，为柜员更好地开展各项业务活动保驾护航。

2024-07-25 13:54:11 235

原创 PingCAP 王琦智：下一代 RAG，tidb.ai 使用知识图谱增强 RAG 能力

本文整理自 TiDB 生态系统架构师及高级开发者 Advocate 王琦智在墨天轮数据库沙龙的分享：《下一代RAG，tidb.ai 使用知识图谱增强 RAG 能力》，以下为演讲实录。

2024-07-23 09:30:00 670

原创平凯星辰黄东旭出席 2024 全球数字经济大会 · 开放原子开源数据库生态论坛

平凯星辰（北京）科技有限公司联合创始人黄东旭发表了题为《TiDB 助力金融行业关键业务系统实践》的主题演讲，并参与了《开源与闭源，在行业应用中的发展潜能》的圆桌对话，与产业同仁共话心得体会。

2024-07-11 18:13:29 690

原创 HTAP 数据库在国有大行反洗钱场景的应用

本文深入探讨了国产 HTAP 分布式数据库 TiDB 在某国有大行反洗钱系统中的应用实践。

2024-07-11 18:12:35 1046

原创唐刘：当 SaaS 爱上 TiDB（一）- 行业挑战与 TiDB 的应对之道

系列文章将从技术原理和真实用户体验两个角度深入探讨 TiDB 在 SaaS 业务中的表现，包括如何应对可扩展性、多租户管理、运维便利性、高可靠性等挑战。

2024-07-11 18:11:17 1162

原创国产化新标杆：TiDB 助力广发银行新一代总账系统投产上线

作为新一代总账系统数据底座的 TiDB 企业版，以其原生分布式数据库的高性能、高稳定性、高扩展性和安全可控的特点，通过创新的 HTAP 架构设计和丰富的国产化数据技术生态，为广发银行提供了坚实的技术保障。

2024-07-07 22:24:33 697

原创 PingCAP 成为全球数据库管理系统市场增速最快的厂商

企业级开源分布式数据库厂商 PingCAP 以 97.9% 的增长率超越 Snowflake，ClickHouse 和 Cockroach Labs 成为全球数据库管理系统市场增速最快的厂商。

2024-07-07 22:20:26 445

原创 Dify + TiDB Vector,快速构建你的AI Agent

随着人工智能技术的蓬勃发展，AI Agent 不再只是科技巨头的专属。如今，每个人都可以成为 AI 的创造者和使用者。Dify，一个开源的 LLM 应用开发平台，以其简洁的界面和强大的功能，让模型管理、RAG 搭建和 Agent 开发变得简单直观，而 TiDB Vector 的向量搜索功能可以为 AI Agent 提供灵活的数据处理能力。本文将介绍如何通过 Dify 和 TiDB Vector 这两个工具，快速搭建起一个功能完备的 AI Agent。

2024-07-07 19:44:07 1005

原创 TiDB 资源管控的对撞测试以及最佳实践架构

本文将从业务角度切入，通过对不同类型业务(OLTP 和 OLAP)在资源管控下的表现进行详尽分析，探讨在动态发展模式下，如何优化TiDB 的资源管理策略。我们将深入研究同一计算节点和不同计算节点上的压力测试结果，揭示资源管控在不同业务类型之间的相互影响并提出最佳实践架构建议，以实现更稳定高效的系统性能。

2024-07-04 17:58:36 973

原创多点 Dmall x TiDB：出海多云多活架构下的 TiDB 运维实战

作者：多点，唐万民时隔 2 年，在 TiDB 社区成都地区组织者冯光普老师的协助下，TiDB 社区线下地区活动再次来到成都。来自多点 Dmall 的国内数据库负责人唐万民老师，在《出海多云架构，多点 TiDB 运维实战》的主题分享中，介绍了多点在出海业务场景部署和使用 TiDB 的经历。本文根据唐万民老师的演讲实录进行整理，你可以从中了解到多点从无到有，使用 TiDB 的业务场景，多云架构的实践经验，以及版本升级遇到问题的解决方案。

2024-05-15 02:11:11 985

原创 PingCAP 黄东旭参与 CCF 秀湖会议，共探开源教育未来

PingCAP 相信，通过持续的努力和合作，开源教育将为技术创新和人才培养提供更广阔的平台，推动整个行业的发展。每个研讨会均针对某一个具体的前沿问题讨论交流为主，仅限发起人邀请的一线专家参与，不对外开放，会期 3 天，要求参会者全程参会，不能中途离会，引导科学家、企业技术专家及教育专家在浮躁的社会中沉下心来钻研学术。经过三天的会议，嘉宾们围绕开源教育的核心内涵、开源教育的需求与难点、开源课程资源建设、高校等科研机构的人才培养模式优化、开源通识和普及教育的开展等方面形成了初步的共识。

2024-05-15 02:10:16 465

原创银行核心背后的落地工程体系丨混沌测试的场景设计与实战演练

混沌工程是一种全面的测试方法，它覆盖了从应用层前端到底层硬件环境的所有环节，确保整个系统在面对各种异常和故障时的稳定性和弹性。本文将聚焦于与 TiDB 分布式数据库相关的混沌工程场景。混沌工程和普通测试在软件系统工程中都扮演着重要的角色，但它们关注的质量属性和测试实施的方式存在明显差异。混沌工程更侧重于系统的健壮性和在面对异常情况时的响应能力，而普通测试则侧重于验证系统的功能正确性和性能指标。两者的差异详见下表：在着手进行混沌测试的场景设计和实施之前，有几个关键问题需要我们深思熟虑：

2024-05-15 02:08:53 513

原创 PingCAP 戴涛：构建面向未来的金融核心系统

作者：戴涛近日，平凯星辰解决方案技术部总经理戴涛在 2024 数据技术嘉年华活动中，做了主题为“构建面向未来的金融核心系统”的分享，本文为戴涛演讲实录的全文。文章分析了中国金融行业的发展趋势，并且基于这些趋势对数据库选择从架构、运维和开发三个视角进行展开。通过平凯星辰多年的金融行业实施经验和丰富案例，基于 TiDB 构建金融核心系统是一条可重复、可复制、具备先天技术优势的路径。随着金融科技的兴起，银行业正面临着深刻的变革。

2024-05-13 01:14:07 1003

原创从 Oracle 到 TiDB，国有大行打造本地生活 APP 新体验

本文介绍了某国有大行推出的本地生活服务类 APP 在数字时代的创新应用实践。为缓解生活 APP 业务的高 TPS 并发访问以及海量数据带来的性能压力，经过对市场主流分布式数据库的调研，并结合自身业务场景实践，最终决定采用新一代 HTAP 数据库 TiDB 替换原系统中的 Oracle RAC，从而提升整个系统的处理能力、扩展能力和服务能力。面对如此迅猛的业务发展和数据量增长，原有的技术架构（主要采用集中式数据库以及抢券服务的分库分表的技术架构）已经无法满足业务需求，无法做到对应用透明的快速弹性扩展。

2024-05-13 01:13:16 411 2

原创 TiDB + ES：转转业财系统亿级数据存储优化实践

目前，业财系统已成功完成底层数据存储的切换，可以看到近几年来不再担心数据量存储的问题，并且成功接入了更多的业务数据。随着引入了 Elasticsearch（ES），业务人员也不再反馈报表页面超时等问题。这次针对数据存储的优化实质上是对系统的重构，选择方案时考虑了对系统影响范围较小且不影响业务人员使用的因素，这也是优化的核心所在。由于历史原因，业财系统仍存在许多需要优化的方面，如慢 SQL 的持续治理、定时任务优化等。因此，我们需要保持此优化的核心理念，并在后续的重构中继续完善，以使业财系统更加稳定。

2024-05-13 01:12:35 476

原创为什么公共事业机构会偏爱 TiDB ：TiDB 数据库在某省妇幼健康管理系统的应用

在数据库合并后，表的数量分布如下：超过 10 万条数据的表数量为 792 张，超过 100 万条数据的表数量为 156 张，超过 1000 万条数据的表数量为 58 张，以及超过 1 亿条数据的表数量为 5 张。考虑到妇幼数据的重要性，在政务云实施搭建一地两中心，通过 TiCDC 实现主库集群实时将数据写入到从集群，同时从集群担负报表业务以及研发测试库环境，让我们初步实现了一地两中心的设想。在过去的架构下，如果 DBA 或业务人员不小心进行了危险操作，恢复起来非常困难，只能依托于备份恢复来实现。

2024-05-01 02:47:15 1043

原创 TiDB Vector 太香啦：以图搜图初体验！

本文是来自 TiDB 社区用户对 TiDB Vector 功能初体验的详细分享，hey-hoho 介绍了他从申请体验到实际操作的全过程，包括创建 TiDB Vector 实例、进行向量检索的初体验，以及实现以图搜图和自然语言搜图的基础应用。在以往，想在关系型数据库中对非结构化数据实现搜索是一件不敢想象的事，哪怕是号称无所不能的 PostgreSQL 在向量插件的加持下也没有获得太多关注，这其中有场景、性能、生态等各方面的因素制约。没错，向量也能加索引，但这个索引和传统的 B+ Tree 索引有些区别。

2024-05-01 02:46:37 1013

原创银行核心背后的落地工程体系丨Oracle - TiDB 数据迁移详解

本文作者：张显华，孟凡辉，庄培培数据库技术专家，Oracle ACE，PostgreSQL ACE Director当前，国内大量的关键行业的核心系统正在实现国产化替代，而与此同时，这些行业的数字化转型也正在进入深水区。在信息系统的升级换代过程中，夯实 IT 基础设施是极其关键的。从服务器、操作系统、中间件、数据库等基础软硬件选型到系统架构、应用架构的重新设计，再到数据迁移、系统迁移、系统优化、运维体系重构的一系列工作都是十分具有挑战性的。大多数工作中，都会遇到无法完全参考前人的探索和创新。

2024-05-01 02:45:52 978 1

原创巧用 TiCDC Syncpiont 构建银行实时交易和准实时计算一体化架构

因为落地数据计算量大，并且有准实时性的要求，为了不影响实时业务，落地计算是通过 TiDB 备集群 2 进行计算，该集群的数据来自 TiCDC 从实时集群同步过来的准实时数据。资格应用在实时集群完成一笔业务后，只需要记下业务完成时的时间戳，然后在备集群中去查询 tidb_cdc.syncpoint_v1 中 max(primary_ts)，如果获取到的 primary_ts 大于当时业务记录的完成时间戳，就代表该业务已经在备集群完成，应用就可以针对该笔业务，计算用户当前的资格。

2024-05-01 02:43:54 1191

原创 TiDB 组件 GC 原理及常见问题

实现的了解，我们知道 TiDB 集群具体的数据存储在 TiKV 上，集群的元数据信息存在 PD 上，TiDB 要做数据旧版本的回收，则需要有个类似 GC worker 的角色从 PD 拿到元数据信息然后对 TiKV 中的数据做垃圾回收工作。假设我们直接删除，删除之后，如果用户要读 t4 这个快照里面 B 的值，发现 B 上有个指向 (A，t1) 的这个 lock, 我们开始从 A 上确认事务 t1 的状态，但是在 TiKV 中找不到（A，t1) 这个事务，也就无法确认其状态。

2024-04-07 02:12:06 1258

原创 TiDB 慢查询日志分析

二是早期版本的 statements_summary_history 是纯内存表，可能由于 TiDB Server OOM 重启而导致数据丢失，而慢查询日志是存储在文件中的，因此 TiDB Server OOM 重启不会导致慢查询日志丢失。TiDB 中的慢查询日志是一项关键的性能监控工具，其主要作用在于协助数据库管理员追踪执行时间较长的 SQL 查询语句。通过记录那些超过设定阈值的查询，慢查询日志为性能优化提供了关键的线索，有助于发现潜在的性能瓶颈，优化索引以及重构查询语句，从而提升数据库的整体性能。

2024-04-07 02:11:29 1104

tidb-in-action-20200611.pdf

空空如也