每天读点书学堂-CSDN博客

原创测试自动化：调用shell命令

pty.spawn(argv[, master_read[, stdin_read]])方法生成一个进程，并将其控制终端连接到当前进程的标准io，master_read,stdin_read是两个函数，pty.spawn()调用时向这两个函数传入一个文件描述符，这两个函数会返回一个字符串，默认字符串长度是1024bytes， master_read的回调函数从子进程中读取输出，stdin_read从父进程的标准输入中读取数据，实现人机交互。pxssh 类是pexpect的派生类，用来建立ssh连接。

2024-06-05 17:58:32 763

原创 CentOS 8.1安装python

yum -y install gcc zlib* libffi-devel openssl openssl-devel（pip需要）由于CensOS8.1在虚拟化安装时，默认没有安装python，需要编译安装python，本次以python3为例安装python。path路径是按照$PATH路径搜索，可以在这些路径下都替换为编译的python3或pip3。2：安装gcc和make，以及缺失的依赖包。1下载python3源码，官网下载地址。或者直接把路径加到 $PATH。5：做链接，替换之前原有的文件。

2024-06-05 17:56:26 367

原创 echarts常用配置说明

/默认是emptyCircle，可选值：'circle', 'rect', 'roundRect', 'triangle', 'diamond', 'pin', 'arrow', 'none'，//可选值：'circle', 'rect', 'roundRect', 'triangle', 'diamond', 'pin', 'arrow', 'none'//可以设置成特殊值 'dataMin'，此时取数据在该轴上的最小值作为最小刻度,不设置时会自动计算最小值保证坐标轴刻度的均匀分布。

2024-06-05 11:25:12 594

原创性能直方图工具 histogram_dump.py

该工具用于整洁且动态的显示被监控设备的性能直方状态；相关如下：用于将原本采用以下指令获取的性能直方数据更直观的显示出来，同时具备动态监视功能。

2024-06-05 11:13:27 933

原创对象whiteout标记

在rados list 命令中，调用了store层的collection_list 接口，在这个接口中是不涉及oi信息的读取操作的。在一个卷打快照，写数据产生克隆对象后，执行unmap删除卷上部分数据，删除了对应的head对象。然后创建一个空的head对象，在新的head对象的oi信息中增加 whiteout = true 的标记。在快照场景，当删除head对象时，检查是否还有克隆对象存在，如果存在克隆对象。从一种意义上来说，有快照存在的情况下，head不会真正的完全删除，快照对head是有依赖的。

2024-06-05 11:09:08 122

原创 gdb中打印stl、boost容器

把编译机上 /opt/rh/devtoolset-7/root/usr/share/gdb/python/libstdcxx/v6 拷贝到环境上，覆盖掉/usr/share/gcc-4.8.2/python/libstdcxx/v6 这个目录即可。像TrackedOp这个类型，除了继承list_base_hook之外，还包含了一个 list_member_hook类型，则next_指向的地址值需要减去24。在测试环境上，gdb使用的是默认的系统自带的 stl 实现的方法解析的。

2024-06-05 11:07:47 256

原创 TiDB v7.1.0 跨业务系统多租户解决方案

我们验证了针对单个在线业务的资源调整，以及模拟了重要业务在经历完整波峰、低谷的运行周期内各个业务的运行情况，每个要点的测试数据和结果都符合我们的预期，证明了该资源管控技术的可行性。

2024-06-04 11:21:54 229

原创 TiDB Serverless Branching：通过数据库分支简化应用开发流程

2023 年 7 月 10 日，正式商用。这是一个完全托管的数据库服务平台（DBaaS），提供灵活的集群配置和基于用量的付费模式。紧随其后，TiDB Serverless Branching 的测试版也发布了。TiDB Serverless Branching 功能使用户能够为其集群创建分支。这些分支可以实现并行开发，促进新功能快速迭代，排查故障，开发者无需中断生产数据库的运行。该功能不仅简化了开发和部署过程，还保持了生产环境中数据库的稳定性和可靠性。

2024-06-04 11:21:01 982

原创飞得更高，扎得更深：数据新生态的突围之路

数据库一直被认为是软件市场皇冠上的明珠。即使在基础软件领域，数据库也是最难突破的。然而，近年来市场环境的快速变化，带来了新的契机。在技术方面，分布式、云原生等新技术的流行，使得数据库产品正经历着更新换代；在中国市场，国产化需求的增长，也给更多数据库厂商带来了生存空间。这些因素的共同作用，使得原本“铁板一块”的数据库市场，呈现出了明显的松动迹象，一大批数据库新生代快速崛起，形成了突围之势。但这也意味市场竞争的加剧，仅国内数据库厂商就超过 200 家。因此，探索出一条数据库新生代的突围之路，就成为当务之急。

2024-06-04 11:19:12 470

原创 AI 时代数据库如何 Ready？TiDB 率先给出答案

当ChatGPT横空出世的那一刻，很多行业都为之一震，意识到变革时刻已经到来。数据库是最早“觉醒”且付之行动的领域之一。业内普遍认为，大模型所呈现出的强大能力，让 Data+AI 成为数据库领域的大势所趋。大模型与数据的同频共振，不仅会对当前的数据库技术架构带来根源性重构，更有望让数据库市场形成差异化的竞争，带来无限可能。

2024-06-04 11:18:32 405

原创分布式数据库的应用历程和 TiDB 7.1 新特性探索

一般来说，限流做在 Proxy 层会比较多一点，但是我们现在不具备这种能力，如果数据库层遇到突发情况能做一个 SQL 级的、针对单 SQL 的限流，这是非常好的一个功能，不用去改代码重发应用，直接在数据库侧通过简单的 SQL Binding 和资源组就能做到。原有的 MySQL 架构还是一主两从，因为写入量比较大，而且还开着半同步复制，处理量大的时候，MySQL 主库还是有些延迟的，导致读写分离功能并不适用，两个从库基本上就是做灾难恢复用的，所以整体的资源使用率非常低。我们计划在下半年上线更多的业务系统。

2024-06-04 11:17:00 796

原创最佳实践：TiDB 业务读变慢分析处理

了解 TiDB 的读过程，有助于我们掌握数据库的底层执行原理，遇到问题时可以快速定位和分析原因，也能引导我们更好地使用数据库，发挥其最好的性能。TiDB Dashboard 是对用户非常友好的一个官方工具，它使得我们分析慢查询 SQL 变得更轻松和快速，大大降低了问题处理的时间，强烈建议使用。

2024-06-04 11:16:12 302

原创金融行业数据库的选择

库里南作为豪车已经称霸多年。同样，数据库领域的 Oracle 也是豪车级的“库里南”，是集中式数据库的天花板。但是，面对异军突起的分布式数据库，在自主创新的环境下，我国自主研发的数据库能否厚积薄发成为“库里南”，将面临时代的考验。

2024-06-04 11:15:18 1100

原创 TiDB x 安能物流丨打造一栈式物流数据平台

本文以安能物流作为案例，探讨了在数字化转型中，企业如何利用 TiDB 分布式数据库来应对复杂的业务需求和挑战。安能物流作为中国领先的综合型物流集团，需要应对大规模的业务流程，面临着核心结算系统所带来的数据库挑战。安能将结算系统 all in TiDB，克服传统 MySQL 数据库所面临的瓶颈，实现平稳迁移和性能提升的同时，打造一栈式物流数据平台，加速数字化升级。安能结算系统作为公司最核心的业务系统，承载了总部与末端加盟商网点所有费用结算业务，包括：账户管理、充值、开票、交易、调账、对账、代收、代付、税差等全

2024-06-04 11:14:32 382

原创 AI 时代的向量数据库、关系型数据库与 Serverless 技术

为了搞清楚这个问题，我花了一些时间研究了一下向量数据库。接下来我将用最简单的语言来解释什么是向量数据库。这个世界上的大多数事情都是多特征的，比如你描述一个人可以用身高、体重、性格、性别、穿衣风格、兴趣爱好等等多种不同类型的维度。通常如果你愿意的话，你可以无限扩展这个维度或者特征去描述一个物体，维度或者特征越多，对于一个物体或者事件的描述就是越准确的。现在，假如开始用一个维度来表达 Emoji 表情的话，0 代表快乐，1 代表悲伤。

2024-06-04 11:13:40 336

原创财富管理行业数字化转型升级，数据库如何选型？

再次，大厂倡导的分库分表技术肯定是成熟的，但对小企业来说，这带来的工作量是巨大的，在研发资源有限的情况下，这其中的成本不得不考虑；最后，TiDB 的 HTAP 融合架构解决了很多，以往的大批量数据计算任务对资源消耗极大且运行速度很慢，TiDB 在跑这类任务时资源隔离的情况下还能做到智能路由，资源隔离可以保证多个业务可放入一个集群，每个业务配置指定的 RU ，保证业务之间不会相互干扰。：以投顾业务为例，首先该业务需要迅速理解客户需求，并基于数据驱动的逻辑做出快速、敏捷的反应，这对底层的数据能力要求较高；

2024-06-04 11:12:40 245

原创 TiDB 业务写变慢分析处理

常规写入慢的问题，我们可以依次排查物理硬件环境、是否有业务新上线，是否有 DDL 变更操作、执行计划不准、热点问题等情况，通常可以定位到问题，再针对性解决对于复杂问题则需要对写入过程逐一分析和对比，通常需要反复观察、对比、验证才能找到根本的原因对于开发人员或 DBA，会解决具体的问题是一项很重要的能力，但定位问题根因所在的能力更难能可贵！这里想表达的意思，和大家耳熟能详的故事异曲同工：“老师傅，故障已排除，但就凭这一条线也要 10000$？！“画这条线要 1$，但知道在哪里画要 9999$！

2024-06-03 14:30:37 707

原创 TiDB 7.1.0 LTS 特性解读丨关于资源管控 (Resource Control) 应该知道的 6 件事

由于时间关系，关于 “资源控制 (Resource Control)” 的内容暂且就分享到这里，内容颇多，相信能读到这里的 “Ti 友” 都是真正喜爱 TiDB 的。文本分享了若干具体的使用方式，也提出了若干问题，力争做到求真务实，相信对 TiDBer 有所提示和帮助。

2024-06-03 14:29:11 566

原创证券核心交易系统分布式改造将迎来规模化落地阶段

近年来，数字化转型成为证券业发展的下一战略高地，根据 2021 年证券业协会专项调查结果显示，71% 的券商将数字化转型列为公司战略任务。在落地数字化转型战略过程中，证券业核心交易系统面临着不少挑战。构建新一代分布式核心交易系统成为券商落地数字化转型的有效路径，证券业核心交易系统分布式改造已是大势所趋。证券业核心交易系统有什么需求？有哪些挑战？如何进行分布式架构升级?在 PingCAP 用户峰会 2023 上，华锐分布式技术实验室主任何志东接受采访时给出了他的观察和思考。

2024-06-03 14:27:57 503

原创 TiDB 企业版全新升级，平凯数据库核心特性全解读

作为 TiDB 企业版的全新升级，平凯数据库一经推出便广受媒体及用户关注。平凯数据库（TiDB 企业版）由 TiDB 社区版 + 三个核心组件 + 国产化生态 + 企业级服务组成。平凯数据库依托于 TiDB 社区版，继承了社区版的全部能力，在此基础上增加了图形化平台组件、企业级安全组件和企业级通用组件，全面兼容国产化生态，并提供了增强级的企业级服务。平凯数据库主要包含以下核心优势：上图是平凯数据库（TiDB 企业版）功能架构全景图。中间部分是平凯数据库的内核模块，包括计算层、管理层和存储层。计算层负责数据请

2024-06-03 14:27:06 816

原创 MySQL 到 TiDB：vivo 的 Hive Metastore 横向扩展之路

我们从 2021 年 7 月份开始对 TiDB 进行调研，在经历数个月的测试于同年 11 月末将 MySQL 引擎切换到 TiDB。与此同时，由于当前 HMS 使用的版本较低，加上大数据的组件在不断的升级演进，我们也需要去兼容升级带来的变动，如 HDFS 升级到 3.x 后对 EC 文件读取的支持，SPARK 获取分区避免全表扫描改造等；

2024-06-03 14:26:10 934

原创 TiDB x 北京银行丨新一代分布式数据库的探索与实践

目前，最大记录表的交易数已超过 20 亿条，完全满足高性能的金融业务的要求。是独立于现有银行间支付清算机构的新平台，根据中国人民银行“断直连”的要求，北京银行对业务和系统进行了整合，基于 TiDB 分布式数据库研发了网联支付清算平台，提供联机报文处理、批量对账处理等功能，实现了“断直连”汇聚三方支付的处理能力。2023 年北京银行的客户数量突破了一个亿，随着客户数量、账户数量、业务交易量的持续上升，在业务场景多元化的演进下，传统数据库遇到了很多限制，比如数据的规模化存储、交易 TPS 的持续攀升等。

2024-06-03 14:25:12 787

原创以分布式技术为引擎，助力证券业数字化转型

数字化转型背景下，金融机构对核心业务系统的高可靠、高性能、高安全等均提出了更高要求，尤其在科技自立自强等国家战略的宏观指引下，金融机构纷纷引入分布式架构进行核心系统的升级换代，以更好推动数字化转型发展，更快融入“数字中国”建设的宏伟蓝图。为探究证券业核心系统升级改造的趋势前景，本刊记者特别专访了华锐技术分布式实验室主任何志东。

2024-06-03 14:23:33 705

原创 TiDB x 汉口银行丨分布式数据库应用实践

头寸系统是汉口银行的重要业务系统之一，该系统通过监测当前的头寸水平和影响头寸变化的因素，实现大额头寸预报电子化、头寸匡算自动化、调拨及审批流程电子化，提供资金业务到期情况查询、历史资金交易查询、货币台资金交易查询等。汉口银行构建 TiDB 主备集群为头寸系统提供一栈式数据服务，使用 TiDB 完成海量数据场景下的在线交易处理，提供可扩展、无上限的实时写入和实时查询能力，满足高并发、低延时、数据一致性和高可用需求，彻底解决传统数据库并发低、无法线性扩展、分析能力差等难题。，确保了产品供应链安全。

2024-06-03 14:22:14 534

原创 TiDB 在咪咕云原生场景下的实践

咪咕视讯科技有限公司（简称：咪咕）是中国移动旗下咪咕文化科技有限公司的全资子公司，是中国移动在视频领域的唯一运营实体，主要产品包括咪咕视频、咪咕影院、咪咕直播等。截止 2023 年 6 月，咪咕视频全场景有效月活用户数超 3.6 亿，数字内容涵盖 4818 万条视频、10000+ 部精彩大片、院线票务覆盖 12000 家影院、1200+ 路音视频直播等。咪咕在 2023 年打造了杭州亚运会、男篮世界杯、女足世界杯、成都大运会等多个口碑视听体验。

2024-06-03 14:21:28 635

原创 TiDB 7.x 源码编译之 TiDB Server 篇，及新特性详解

到 11 月 15 日，2023 年已过去 87%，TiDB 7.x 系列即将迎来 7.5 LTS 版本。TiDB 在 MySQL 5.7 EOL 之际正式兼容 MySQL 8.0，为用户从 MySQL 5.7 迁移到 TiDB 减轻了工作量，并提供了更多助力。

2024-06-03 14:20:46 675

原创 PingCAP 携手教育部教育管理信息中心，助力普惠教育数字化

随着平台开放的中小学越来越多，用户数量以及访问并发量都呈高速增长态势，同时还有典型的业务高低峰访问特点，因此要求数据库必须具备容纳大数据量、承接高并发访问且具备弹性伸缩的灵活性。此外，平台处于快速迭代发展阶段，功能模块多，业务复杂高，既有联机交易，又有在线实时分析等需求，对底层的数据库提出了严苛的要求。数字化技术的快速发展为教育提供了前所未有的挑战，为使教育变得更加普惠，教育部教育管理信息中心采用全新的应用架构、数据库技术和云基础设施，构建了全国中小学基础教育管理平台。

2024-06-03 14:19:28 271

原创从 Oracle 到 TiDB，全链路数据迁移平台核心能力和杭州银行迁移实践

TMS（TiDB Migration Service）是平凯数据库（ TiDB 企业版）提供的全链路数据迁移平台，适用于从 Oracle 数据库迁移到 TiDB 的场景。TMS 主要包括应用对象兼容性评估、对象结构迁移、数据全量迁移、数据校验、应用 SQL 兼容性评估等核心模块，帮助企业用户低风险、低成本、高效率地完成从 Oracle 到 TiDB 的迁移。

2024-06-03 14:18:47 1002

原创 TiDB 在 IoT 智慧园区的应用

基础设施平台是集团一线作业人员日常工作中高度依赖的重要系统，涵盖了各类基础设施的管理、报修、保养等一系列数字化办公功能，同时实现了对基础设施、作业人员、项目成本等多种维度的精细化管理。其使命在于不断提升一线作业效率，提高业主的服务满意度。以下为该平台手机端应用截图。工作中心页面提供了大量常用的业务功能，同时还包含了面对一线、项目、集团等多个维度的报表功能，是一个典型的 HTAP 混合负载场景。手机端应用截图TiDB 自今年 3 月上线以来，性能提升非常明显。

2024-06-03 14:17:51 1263

原创 TiDB 7.5 LTS 发版丨提升规模化场景下关键应用的稳定性和成本的灵活性

互联网时代，数据的迅猛增长给数据库带来了可扩展性的挑战，Gen AI 带来的数据暴增更加剧了这种挑战。传统的数据分片已经不能承载新时代数据暴增的需求，更简单且具有前瞻性的方法则是采用原生分布式数据库来解决扩展性问题。在这种规模化场景的背景下，TiDB 的研发团队和开源贡献者们始终致力于解决事务一致性、数据持久性以及大规模扩展所带来的新挑战，以及保障关键应用的稳定性。作为 TiDB 7 系列的第二个长期支持版本 (LTS) ，TiDB 7.5 着眼于提升规模化场景下关键应用的稳定性。

2024-06-03 14:16:44 923

原创 TiDB 7.1 多租户在中泰证券中的应用

TiDB 6.6 首次引入资源管控（Resource Control，简称：RC）特性，并在 TiDB 7.0 进行了优化和增强。该技术利用资源组 (Resource Group) 限制每个资源组所能使用的计算和 IO 资源，同时创造性的引入 burst （可超用）属性，当集群有空闲资源时，允许资源组超越限制，实现资源的充分利用。这个特性满足了目前一些企业的需求，也可以顺带解决了部分用户的痛点：业务系统间影响和干扰：某个业务系统的非预期负载变化会影响其他业务系统的正常运行。

2024-06-03 14:15:59 530

原创从 20 多套 MySQL 到 1 套 TiDB丨骏伯网络综合运营管理平台应用实践

综合运营管理平台是骏伯最核心的业务系统，主要覆盖营销、渠道、媒介、创意等业务部门，底层数据库包含 OLTP、OLAP 两种，业务系统主要包含营销、订单和信息展现三部分。订单数据均会回流到订单服务模块，订单成功后会推送到下单流程，同时可以在平台中及时查看订单信息。综合运营管理平台应用架构图整套应用由 40 多个微服务组成，底层数据库采用 20 多套 MySQL 主备高可用架构，部署在 4 台物理服务器上，主备交叉部署的模式。大数据分析平台采用 Hadoop 生态，数据分析模式为 T+1 的离线模式。

2024-06-02 10:00:44 213

原创使用 Coze 搭建 TiDB 助手

字节之前也推出了 Coze，之前试过 Dify 和 FastGPT，目前感觉 Coze 的插件能力有很多，且易用性方面、搭建效率方面也强于其他平台（例如 langchain 或 flowise 需要搭建相对复杂的编排逻辑才能实现大模型调用互联网信息的拓展能力，但是 Coze 则是直接添加 plugin 且不指定任何参数就能实现）。现在我们知道了，OPENAI 会通过我们事先定义好的 function 来做判断，如果需要 function 提供的能力，大模型会给我们一个回调请求，以。

2024-06-02 10:00:09 387

原创通过 Prometheus 编写 TiDB 巡检脚本

一个完善的巡检脚本的编写是一个长期的工作。因为时间有限，笔者只编写了基于 Prometheus 的一部分巡检项，有兴趣的同学可以继续编写更多巡检项。目前巡检脚本都是基于 Prometheus 的数据来作判断，但是在真实的巡检当中，dba 还会查看一些 Prometheus 没有的数据，比如表的健康度、一段时间内的慢 SQL、热力图、日志信息等等，这些信息在后面一些时间，可能会慢慢入到巡检脚本中。

2024-06-02 09:59:07 648

原创 “分布式透明化”在杭州银行核心系统上线之思考

同时，银行核心在整个银行 IT 系统架构中是其他业务子系统的基础，处于承上启下的关键位置。未来，希望广大金融 IT 从业者，在面临国产化升级的整体规划上，既需要考虑企业当前现状，也能充分瞄准未来架构的延伸性，以创新的思维推动银行核心系统的整体升级，共同助力中国金融的数字化转型。杭州银行核心系统升级，正是从架构、研发、运维多角度出发，在充分考虑新型分布式数据库能力的同时，结合自身技术发展现状及长远规划，最终选择 TiDB 作为核心系统的数据库，并通过近两年与厂商的通力协作成功上线。

2024-06-02 09:58:22 667

原创一篇文章彻底搞懂 TiDB 集群各种容量计算方式

但需要注意的是，在 Grafana 中并不是所有面板都采用了 byte(SI) ，甚至同一个指标也出现不同面板显示的单位不一样，比如 Overview 下面的 TiDB 分组内存面板使用十进制，System Info 分组内存面板使用二进制，用的时候要小心。但仔细看容量单位的区别，发现 Dashboard 显示的是 GiB ，Grafana 显示的是 GB，两者是有区别的。看起来前后计算不一致，但是由于 heartbeat 是持续更新的，最终是以 heartbeat 上报的为准。

2024-06-02 09:57:46 541

原创选择 TiDB 的 10 个理由

从事数据库相关工作十余年，经历过早期的传统集中式数据库如 Oracle 、 MySQL ，后来的分库分表中间件如 MyCat 、 ShardingSphere ，再到后来的分库分表数据库如 TDSQL 、 GoldenDB ，最后到如今的云原生分布式架构 TiDB。。而 TiDB 正好符合我们的这个期望，可以这么说，。当然，选择 TiDB 不仅仅是因为使用“简单”，具体而言我归结了我们选择 TiDB 的 10 个原因。

2024-06-02 09:56:55 876

原创使用 HyBench 测试 TiDB

本文基于开源数据库压测软件 HyBench 对 TiDB 进行适配，并做简单测试。如果没有特殊需求，优先推荐使用 TiUP bench 组件对 TiDB 进行压测。

2024-06-02 09:56:13 274

原创分布式数据库国产替代，杭州银行在挑战什么

银行对国产数据库的替代趋势其实并不短，但进入到银行核心场景却经验并不多。过去，由于历史原因，金融银行 IT 基础架构是以 IOE（IBM 大型机、Oracle 数据库、EMC 存储设备）为核心的集中式架构，它们支撑了银行系统长达几十年的运营，一定程度上推动了中国银行信息化和金融科技的发展。2010 年代，“去 IOE”浪潮在国内兴起。基于国家安全可控战略的要求，以及现代金融数字化发展的迫切需要，银行开始关注到分布式架构的领先性，并在该领域逐步推进成果。市面上对集中式存储、小型机的替代步伐较快。

2024-06-02 09:55:18 677

原创中通快递：HTAP 在快递行业助力时效分析的落地实践

当前，网购已经成为千家万户主要的购物方式，随着快递体量的飞速膨胀，分析时效成了摆在快递公司面前的重要课题，有没有办法既能降低成本又能提升时效呢？整个快递的生命周期可以用“收发到派签”五个字概括。“收”是指用户下单，快递小哥来收件，网点建包；“发”是指快递在转运过程中发往运转中心，发往目的地；“到”是指末端中心到件，分拣到网点；“派”是指派件网点分拣，快递小哥开始派件；“签”是指快递小哥派件以后，客户签收。

2024-06-02 09:54:43 833