- 博客(34)
- 收藏
- 关注
转载 TiDB 高并发写入常见热点问题及规避方法
作者:姚维本文通过阐述一个高并发批量写入数据到 TiDB 的典型场景中,TiDB 中常见的问题,给出一个业务的最佳实践,避免业务在开发的时候陷入 TiDB 使用的 “反模式”。面向的对象本文主要面向对 TiDB 有一定了解的读者,读者在阅读本文之前,推荐先阅读讲解 TiDB 原理的三篇文...
2019-09-06 10:27:00
1607
转载 TiKV 源码解析系列文章(十三)MVCC 数据读取
作者:施闻轩在 《TiKV 源码解析系列文章(十二)分布式事务》 中,我们介绍了如何在满足事务特性的要求下进行数据写入。本文将介绍数据读取的流程。由于顺序扫(Forward Scan)比较具有代表性,因此本文只介绍顺序扫的流程,而不会介绍点查或逆序扫。点查是顺序扫的简化,相信读者理解了顺序扫...
2019-09-04 11:01:00
469
转载 TiDB + TiFlash : 朝着真 HTAP 平台演进
作者介绍:韦万,PingCAP 数据库研发工程师,主要领域是数据库的存储引擎研发,以及系统性能优化。一、为什么我们需要 HTAP 数据库?在互联网浪潮出现之前,企业的数据量普遍不大,特别是核心的业务数据,通常一个单机的数据库就可以保存。那时候的存储并不需要复杂的架构,所有的线上请求(...
2019-09-02 10:36:00
2025
转载 TiDB 在 58 集团的应用与实践
作者介绍:刘春雷,58 集团高级 DBA,负责 MySQL 和 TiDB 的运维工作,TUG Ambassador。58 集团业务种类繁多,目前包括的业务有 58 同城、赶集网、安居客、58 金融公司、中华英才网、驾校一点通等,数据库种类包括 MySQL、Redis、MongoDB、ES...
2019-08-29 15:28:00
248
转载 TiDB Binlog 源码阅读系列文章(四)Pump server 介绍
作者: satoru在 上篇文章 中,我们介绍了 TiDB 如何通过 Pump client 将 binlog 发往 Pump,本文将继续介绍 Pump server 的实现,对应的源码主要集中在 TiDB Binlog 仓库的 pump/server.go 文件中。启动 Pump Ser...
2019-08-23 10:40:00
183
转载 TiDB 用户问答论坛上线:Ask TUG for Help!
自 TiDB User Group(TUG)成立以来,小伙伴们都兴致勃勃的想要“攒点新活动”,不得不说,大家的行动力惊人,上周启动的线下活动“TUG 企业行”是第一波行动,今天又有第二波惊喜:TiDB 用户问答论坛 asktug.com 上线! 欢迎大家来“灌水”讨论,一起探索 TiD...
2019-08-22 10:51:00
188
转载 TiDB 新特性漫谈:悲观事务
作者:黄东旭关注 TiDB 的朋友大概会注意到,TiDB 在 3.0 中引入了一个实验性的新功能:悲观事务模型。这个功能也是千呼万唤始出来的一个功能。大家知道,发展到今天,TiDB 不仅仅在互联网行业广泛使用,更在一些传统金融行业开花结果,而悲观事务是在多数金融场景不可或缺的一个特性。另外...
2019-08-21 11:02:00
529
转载 TiDB 在华泰证券的探索与实践
文章转载自公众号华泰证券数字科技。原文链接:https://mp.weixin.qq.com/s/Hp-ZJLdvd3z2w9IJ_32NRw?scene=25#wechat_redirect作者介绍华泰证券数字科技分布式数据库项目组,主要负责华泰证券分布式数据库系统建设工作,项目组成...
2019-08-20 11:56:00
264
转载 这门分布式 KV 存储系统课程教会了我什么? | 我与 Talent Plan
作者:张艺文作者介绍:张艺文,华中科技大学武汉国家光电实验室直博二年级,主要研究方向为基于新型存储设备的 KV 存储。PingCAP Talent Plan 第二期优秀学员。距离我从 PingCAP Talent Plan 结业已经过了三个月,这也算是我第一次与企业或者说工业界近距离...
2019-08-20 10:50:00
389
转载 TiDB 新特性漫谈:从 Follower Read 说起
作者:黄东旭很久没有写文章了,正好今天有一些闲暇的时间,写写最近的一些 Update。关注 TiDB 的同学,最近可能注意到 TiKV 这边合并了一个不大不小的 PR #5051 ,支持了一个特性叫做 Follower Read,看到这个功能被合并进主干我确实有点百感交集,还发了条朋友圈庆祝...
2019-08-15 10:50:00
511
转载 TiDB 混沌工程实践:如何打造健壮的分布式系统?
本文转载自 InfoQ 网站作者:唐刘策划:赵钰莹原文链接:https://www.infoq.cn/article/bxGvrb_CxAZD6Wv3fUj8作为一个分布式数据库,TiDB 面临的严重挑战在于如何让用户相信存储在 TiDB 里面的数据是安全的,不会出现丢失,损坏等情况...
2019-08-14 14:10:00
199
转载 TiKV 源码解析系列文章(十二)分布式事务
作者:周振靖在之前的文章里,我们已经介绍了 TiKV 的 Service 层、Storage 层。相信大家已经大致清楚,TiKV 的事务相关的代码都位于 Storage 层中。本文将更加深入地讲解 TiKV 的事务算法的原理和实现细节。概述TiKV 采用了 Google Percolat...
2019-08-13 09:47:00
475
转载 分布式数据库在 ARM 平台探索之路(一) TiDB 集群在 arm 平台编译安装与部署
本文转自公众号 TCTP,作者 TCTP。原文链接:https://mp.weixin.qq.com/s/voEr3WId1LeOr-o4sFptPA?scene=25#wechat_redirect我行在 2018 年开始了基于 ARM 服务器平台的尝试,当前 TDSQL 的冷备数据全部...
2019-08-09 11:10:00
1048
转载 三十分钟成为 Contributor | 提升 TiDB Parser 对 MySQL 8.0 语法的兼容性
作者:谢腾进 赵一霖TiDB 的一大特性就是和 MySQL 高度兼容,目标是让用户能够无需修改代码即可从 MySQL 迁移至 TiDB。要达成这个目标,需要完成两个提升兼容性的任务,分别是「语法兼容」和「功能行为兼容」。本次活动聚焦于语法兼容,提升 TiDB SQL Parser 对 My...
2019-08-09 10:22:00
352
转载 TiDB Binlog 源码阅读系列文章(三)Pump client 介绍
作者:黄佳豪在 上篇文章 中,我们介绍了 Pump 的作用是存储 TiDB 产生的 binlog。本篇将介绍 Pump client,希望大家了解 TiDB 把 binlog 写到 Pump,以及输出数据的过程。gRPC APIPump client 的代码在 tidb-tools 下这...
2019-08-07 11:11:00
161
转载 我们是如何设计 Golang & SQL 引擎课程的? | Talent Plan 背后的故事
作者:谢海滨在上篇文章中我们介绍了 PingCAP Talent Plan - TiKV 方向的课程内容,本文将从课程设计的角度和大家聊一聊 TiDB 方向的课程内容,包括课程设计的逻辑,和课程学习过程中常见的问题及解答等。TiDB 方向课程内容TiDB 作为一个支持 MySQL 协...
2019-08-06 10:56:00
208
转载 微众银行数据库架构演进及 TiDB 实践经验
作者介绍:胡盼盼,微众银行数据平台室室经理。硕士毕业于华中科技大学,毕业后加入腾讯,任高级工程师,从事分布式存储与云数据库相关的研发与运营工作;2014 年加入微众银行,负责微众银行的数据库平台的建设与运营。黄蔚,微众银行数据库平台室高级 DBA。2011 年加入腾讯互动娱乐运营部,担任...
2019-08-02 17:21:00
639
转载 云上 TiDB 管理「利器」,TiDB Operator 1.0 GA 发布
去年八月份,我们 开源了 TiDB Operator 项目,以实现 TiDB 在 Kubernetes 上的部署和运维。开源后到现在的近一年内,我们一方面基于用户反馈不断打磨项目的易用性,另一方面通过严苛的稳定性测试持续提升可靠性。今天,我们自豪地宣布 TiDB Operator 1.0 G...
2019-07-31 10:25:00
137
转载 TiKV 源码解析系列文章(十一)Storage - 事务控制层
作者:张金鹏背景知识TiKV 是一个强一致的支持事务的分布式 KV 存储。TiKV 通过 raft 来保证多副本之间的强一致,事务这块 TiKV 参考了 Google 的 Percolator 事务模型,并进行了一些优化。当 TiKV 的 Service 层收到请求之后,会根据请求的类型...
2019-07-30 11:42:00
370
转载 DM 源码阅读系列文章(十)测试框架的实现
作者:杨非本文为 DM 源码阅读系列文章的第十篇,之前的文章已经详细介绍过 DM 数据同步各组件的实现原理和代码解析,相信大家对 DM 的实现细节已经有了深入的了解。本篇文章将从质量保证的角度来介绍 DM 测试框架的设计和实现,探讨如何通过多维度的测试方法保证 DM 的正确性和稳定性。测试...
2019-07-24 11:43:00
232
转载 PingCAP 唐刘:如何利用混沌工程打造健壮的分布式系统?
作者:赵钰莹本文转载于 InfoQ。原文链接:https://www.infoq.cn/article/EEKM947YbboGtD_zQuLw作为混沌工程的重要推动者,Netflix 在混沌工程手册(https://www.infoq.cn/article/AsN34J2T9QDXB0...
2019-07-23 10:28:00
276
转载 DM 源码阅读系列文章(九)shard DDL 与 checkpoint 机制的实现
作者:张学程本文为 DM 源码阅读系列文章的第九篇,在 上篇文章 中我们详细介绍了 DM 对 online schema change 方案的同步支持,对 online schema change 同步方案以及实现细节等逻辑进行了分析。在本篇文章中,我们将对 shard DDL 同步机制以...
2019-07-18 18:31:00
118
转载 我们是如何设计 Rust & 分布式存储教程的? | Talent Plan 背后的故事
作者:沈泰宁 唐刘许多人眼中的 PingCAP Talent Plan 可能就是 github.com/pingcap/talent-plan 这个项目,但从内容角度来说并不完整,这个 Repo 只是线上课程的内容,我们还有与其配套的线下课程。本文将从课程设计的角度和大家聊一聊 Ping...
2019-07-17 11:01:00
788
转载 TiDB 在小红书从 0 到 200+ 节点的探索和应用
作者介绍:张俊骏,小红书数据库与中间件团队负责人小红书使用 TiDB 历史可以追溯到 2017 年甚至更早,那时在物流、仓库等对新技术比较感兴趣的场景下应用,在 2018 年 5 月之后,我们就开始逐步铺开,延展到其他适合 TiDB 的场景中去。截止目前,小红书使用的 TiDB 节点数在...
2019-07-12 15:06:00
303
转载 TiKV 源码解析系列文章(十)Snapshot 的发送和接收
作者:黄梦龙背景知识TiKV 使用 Raft 算法来提供高可用且具有强一致性的存储服务。在 Raft 中,Snapshot 指的是整个 State Machine 数据的一份快照,大体上有以下这几种情况需要用到 Snapshot:正常情况下 leader 与 follower/lear...
2019-07-10 11:17:00
225
转载 TiKV 源码解析系列文章(九)Service 层处理流程解析
作者:周振靖之前的 TiKV 源码解析系列文章介绍了 TiKV 依赖的周边库,从本篇文章开始,我们将开始介绍 TiKV 自身的代码。本文重点介绍 TiKV 最外面的一层——Service 层。TiKV 的 Service 层的代码位于 src/server 文件夹下,其职责包括提供 RPC...
2019-07-08 10:48:00
305
转载 TiDB Binlog 源码阅读系列文章(二)初识 TiDB Binlog 源码
作者:satoruTiDB Binlog 架构简介TiDB Binlog 主要由 Pump 和 Drainer 两部分组成,其中 Pump 负责存储 TiDB 产生的 binlog 并向 Drainer 提供按时间戳查询和读取 binlog 的服务,Drainer 负责将获取后的 binl...
2019-07-05 10:53:00
179
转载 暑期特别企划 | 快来接收 PingCAP Talent Plan 的小惊喜!
PingCAP Talent Plan 学习通道自开通以来,收获了海内外小伙伴的密切关注,有 100 余名小伙伴参与到线上课程的学习中,第二期线下课程也于 5 月中旬圆满落幕。结合大家的意见,我们对 Talent Plan 的课程做了一些优化,并推出 Talent Plan 暑期特别企划,线...
2019-07-03 11:04:00
371
转载 TiDB 3.0 GA Release Notes
Overview2019 年 6 月 28 日,TiDB 发布 3.0 GA 版本,对应的 TiDB Ansible 版本为 3.0.0。相比于 V2.1,V3.0.0 版本在以下方面有重要改进:稳定性方面,显著提升了大规模集群的稳定性,集群支持 150+ 存储节点,300+ TB 存...
2019-06-29 08:53:00
198
转载 TiDB 在知乎万亿量级业务数据下的实践和挑战
作者:孙晓光,知乎搜索后端负责人,目前承担知乎搜索后端架构设计以及工程团队的管理工作。曾多年从事私有云相关产品开发工作关注云原生技术,TiKV 项目 Committer。本文根据孙晓光老师在 TiDB TechDay 2019 北京站上的演讲整理。本次分享首先将从宏观的角度介绍知乎已...
2019-06-27 10:45:00
991
转载 DM 源码阅读系列文章(八)Online Schema Change 同步支持
作者:lan本文为 DM 源码阅读系列文章的第八篇,上篇文章 对 DM 中的定制化数据同步功能进行详细的讲解,包括库表路由(Table routing)、黑白名单(Black & white table lists)、列值转化(Column mapping)、binlog 过滤(Bi...
2019-06-20 10:32:00
94
转载 TiDB Binlog 源码阅读系列文章(一)序
作者:黄佳豪TiDB Binlog 组件用于收集 TiDB 的 binlog,并准实时同步给下游,如 TiDB、MySQL 等。该组件在功能上类似于 MySQL 的主从复制,会收集各个 TiDB 实例产生的 binlog,并按事务提交的时间排序,全局有序的将数据同步至下游。利用 TiDB B...
2019-06-18 10:06:00
61
转载 TiDB TechDay 巡讲启动!六城一起 High~
我感到自豪,因为我取得了第一个胜利,我毫不怀疑胜利是会接踵而至的。我做到了第一件做不到的事情,我也可以接着做下去。——王小波《我在荒岛上迎接黎明》TiDB 的设计灵魂,是让优雅灵活的架构充满无限可能性。从大规模业务场景中稳定使用的 TiDB 2.0 版本,到这一次备受关注的 3.0,我们...
2019-06-13 18:27:00
84
转载 TiKV 源码解析系列文章(八)grpc-rs 的封装与实现
作者: 李建俊上一篇《gRPC Server 的初始化和启动流程》为大家介绍了 gRPC Server 的初始化和启动流程,本篇将带大家深入到 grpc-rs 这个库里,查看 RPC 请求是如何被封装和派发的,以及它是怎么和 Rust Future 进行结合的。gRPC C CoregR...
2019-06-13 16:17:00
136
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人