TiDB_PingCAP 的博客

最新 TiDB 技术解析、案例分享

  • 博客(397)
  • 资源 (1)
  • 收藏
  • 关注

转载 媒体报道 | 企业级开源软件大时代,PingCAP 的格局与胜局

本文转载自【申耀的科技观察】微信公众号,作者跨界的申斯基。毫无疑问,目前全球基础软件行业有两个重要的趋势:一方面是“软件现在吞噬一切”,每一家公司都正在变成软件公司;另一方面是“开源也在吞噬一切”,越来越多的公司也都在拥抱开源,并使用开源软件。开源分布式数据库,就是在这样的背景下,成为全面云化时代匹配企业数字化转型的最佳选择。数据显示,到 2021 年传统商业数据库市场会下降 20% 至 30%,而与此相应的则是云数据库的迅猛增长,按照 Gartner 预测,到 2023 年全球 3/4 的数据库都.

2020-11-24 21:19:24 65

转载 百家客户、300% 增速、上千开发者,PingCAP 想要拓展更赚钱的国际市场

以下文章来源于36氪Pro ,作者王与桐 小希2016 年 3 月 5 日,北京天气晴。上午 10 点,在一间长十米,宽三米的屋子里,几个身穿格子衫的程序员,开始对着一面白板交流。这是 PingCAP 第一次 Infra Meetup。这几个人中,有近 10 个来自 PingCAP 的创始团队,唯二的客人,分别是来自华为和京东的开源爱好者。主人比客人多,倒也可以理解,毕竟周六上午的正确打开方式应该是“补觉”。如今,以交流国内外基础架构技术为主题的 Infra Meetup,已经举行了一百三十多期。.

2020-11-24 11:03:19 136

原创 轻松应对海量数据,TiDB 在车好多的实践

车好多集团系国内领军的汽车消费服务一站式平台,旗下拥有瓜子二手车、毛豆新车、车好多车后三大核心业务。业务挑战车好多集团关注 TiDB 始于 2018 年初,像大多数公司一样,公司发展初期为了快速适配业务开发,大部分数据都存储在 MySQL 中。但随着业务快速发展,存量数据越来越多,我们在 MySQL 面临着如下痛点:业务拆分复杂公司业务发展快,单实例的 QPS 和数据存储会超出预期,这时候需要对业务线实例进行拆分。 每次业务线拆分需要从数据产生端 (APP) 到数据流转端 (CDC) 最后到数据.

2020-11-20 21:35:22 1337

原创 做一切为了好玩的极客,TiDB Committer 王贺的心路历程

王贺看起来是一个不走寻常路的大三学生,从小就喜欢计算机,对于很多大学才开始接触编程的同学来说,高三就可以自己做一个 Linux 发行版无疑是同龄人中的佼佼者了。今天就来了解一下 TiDB Committer,DDL SIG 的 xhebox 的贡献之路。当时怎么想到要自己做一个 Linux 发行版呢?开始接触 Linux 的时候我觉得 glibc 太大了,下载下来有几十 MB 所以想换掉它。当时正好接触到了除了 glibc 以外的 libc,我就萌生了自己做发行版这个想法,甚至还想把 GNU 所有的

2020-11-20 10:40:07 788

原创 TiDB 的现在和未来

本文根据黄东旭在 PingCAP D 轮融资线上发布会的演讲实录进行整理。TiDB 的现在和未来大家好,我是黄东旭,是 PingCAP 的联合创始人和 CTO,这是 PingCAP 成立以来的第一次发布会,我想跟大家简单聊聊 TiDB 在产品和技术上的更新。考虑到线上的很多观众不一定是有很强的技术背景,我将尽我所能将技术的部分说得让大家都能够理解。在讲正题之前有一个小故事,我们做基础软件的产品经理去跟客户聊需求的时候,客户经常都会说:对于数据库,我的要求特别简单、特别基础、非常朴素,我不要求很多.

2020-11-19 11:21:51 970 3

原创 PingCAP 完成 D 轮 2.7 亿美元融资,创造全球数据库历史新的里程碑

企业级开源分布式数据库厂商 PingCAP 日前宣布完成 2.7 亿美元的 D 轮融资,创造全球数据库历史新的里程碑。 本轮融资由纪源资本(GGV Capital)、Access Technology Ventures、晨曦投资 (Anatole Investment)、时代资本(Jeneration Capital)、五源资本(5Y Capital 原晨兴资本)共同领投,贝塔斯曼亚洲投资基金(BAI)、Coatue、天际资本(FutureX Capital)、昆仑资本(Kunlun)、挚信资本(Trust

2020-11-17 16:52:03 1735 1

原创 「名企直推,人才优聘」计划启动,寻找掌握 TiDB 技能的「你」

不论多智能的软件,总归是「工具」,工具就是给人使用的,工具只有在人的手上才能发挥价值。另一方面,人的智慧,感情和想象力是机器无法取代的,技术做得再好,到产生价值的「最后一米」仍然需要人来完成。所谓「事在人为」,TiDB 是一件很好的工具,希望你能将它用好,帮助人们解决问题,这里面的「你」才是关键。——— Ed Huang”无论哪个行业,无论从事哪种类型的工作,每一个职场人平均每天至少有 ⅓ 的时间花费在工作上,如何找到一份“有前景”且“有钱景”的工作是所有职场人共同关注的话题,同时如果这份工作还能.

2020-11-13 18:35:45 713

原创 360 x TiDB|性能提升 10 倍,360 如何轻松抗住双十一流量

「我们已经用起来了」,是我们最喜欢听到的话,简简单单几个字的背后代表着沉甸甸的信任和托付。从今天开始,我们将通过**「相信开放的力量」**系列深度案例分享,从业务的角度,看看一个数据库为各行业用户带来的业务价值。 本篇文章将介绍 TiDB 在 360 网盾业务、智慧商业业务、广告物料数据业务等核心场景的应用与实践。以科技为驱动力,让世界更安全更美好360 公司创立于 2005 年,是中国领先的互联网和安全服务提供商,先后推出 360 安全卫士、360 手机卫士、360 安全浏览器等安全产品。随着

2020-11-13 18:19:39 832

原创 邀请函 |「相信开放的力量」PingCAP D 轮融资线上发布会

在数字化转型加速的当下,全球企业与组织深刻意识到开放数字平台对业务发展的驱动能力。基于开放数字平台,实现业务开放整合,融合开放生态,以灵活的弹性与韧性应对未来各种不确定挑战。2015 年 4 月 8 日 PingCAP 成立,2017 年的 10 月 16 日 TiDB 1.0 GA 版本发布,回首 PingCAP 这一路走来,经历了很多,有过打造未来最好数据库的坚定,也有过如何能更好地给用户带来价值的焦虑和思考,有过一步一步创造里程碑的喜悦,更有过痛定思痛的复盘总结和伤感。因为 「相信开放的力量」 ,

2020-11-13 11:14:04 229

原创 TiDB x 平安金管家 | 拥抱 NewSQL 数据库,加速敏态业务创新

「我们已经用起来了」,是我们最喜欢听到的话,简简单单几个字的背后代表着沉甸甸的信任和托付。从今天开始,我们将通过 「相信开放的力量」 系列深度案例分享,从业务的角度,看看一个数据库为各行业用户带来的业务价值。 在双十一来临之际,PingCAP 走访了平安金管家开发团队总经理毛小波及其团队同事,结合分布式数据库技术的应用和前瞻实践,分享他们在数字创新的思考和见解,希望可以给大家一些启发 。效率与敏捷同行打造智慧生活新体验一场突如其来的疫情带来保险业线上服务的革新,使用手机 APP 办理保单缴费、

2020-11-12 11:43:15 1090 2

原创 TiDB Committer | 男友力 max 的典型工程师马钰杰

他是第一期 Talent plan 的学员,也是第一期易用性挑战赛优秀参赛选手,拥有多个身份的他成为了 TiDB 新晋 Committer,他就是来自 Execution SIG 的马钰杰(mmyj)。他是游戏云玩家,也喜欢研究电子产品,总是第一时间入手,也逃不过第一时间吃灰。目前在星火网校做后台开发,工作中接触最多的语言是 Golang。他自称是个典型的程序员,但在采访的间隙突然让我稍等他一下,去给女友煮汤圆,着实让小编酸了一把~今天,让我们来看看 mmyj 在 TiDB 社区的心路历程吧!第一次

2020-11-10 19:33:36 681

原创 TiDB x 中通科技 | 提效 300%,TiDB 联手中通让你的包裹“实时可见”

「我们已经用起来了」,是我们最喜欢听到的话,简简单单几个字的背后代表着沉甸甸的信任和托付。从今天开始,我们将通过**「相信开放的力量」**系列深度案例分享,从业务的角度,看看一个数据库为各行业用户带来的业务价值。 本篇文章将介绍 TiDB 联手中通科技打造全场景全链路数字化平台服务的故事。洞悉包裹的每一段旅程不负身边的每一份守候下单秒杀,到收货开箱,相信大多数人对于“双十一”这个特殊时期的快递物流体验相当熟悉。从下单后的『望眼欲穿』到包裹的『全流程追踪』,最近几年,快递再不是以前“肩扛手提的黑盒

2020-11-10 11:44:20 687 1

原创 TiDB x 微众银行 | 耗时降低 58%,分布式架构助力实现普惠金融

「我们已经用起来了」,是我们最喜欢听到的话,简简单单几个字的背后代表着沉甸甸的信任和托付。从今天开始,我们将通过**「相信开放的力量」**系列深度案例分享,从业务的角度,看看一个数据库为各行业用户带来的业务价值。 本篇文章将介绍 TiDB 助力微众银行金融核心场景的故事。科技普惠大众,数据连接智能从一次惊喜,到每次陪伴我们让美好发生微众银行是国内首家开业的民营银行,由腾讯、百业源和立业等多家知名企业发起设立,于 2014 年 12 月获得由深圳银监局颁发的金融许可证,总部位于深圳。开业

2020-11-09 11:58:34 1091 1

原创 TiDB x 中国电信翼支付 | 「效率提升 5 倍」,TiDB 在电信翼支付金融核心场景的应用

「我们已经用起来了」,是我们最喜欢听到的话,简简单单几个字的背后代表着沉甸甸的信任和托付。从今天开始,我们将通过**「相信开放的力量」**系列深度案例分享,从业务的角度,看看一个数据库为各行业用户带来的业务价值。 本篇文章将介绍 TiDB 助力中国电信翼支付金融核心场景的故事。餐饮娱乐 、投资理财、商户服务…让大家尽情享受安全、便捷的金融新生活。中国电信翼支付(以下简称:翼支付)成立于 2011 年 3 月,是中国电信旗下的运营支付和互联网金融的业务品牌,是中国人民银行核准的第三方支付机构,是中

2020-11-04 23:24:17 1080 2

原创 TiDB X 伴鱼 | 「宁花机器一分,不花程序员一秒」,用户增幅 300% 背后的秘密武器

「我们已经用起来了」,是我们最喜欢听到的话,简简单单几个字的背后代表着沉甸甸的信任和托付。从今天开始,我们将通过**「相信开放的力量」**系列深度案例分享,从业务的角度,看看一个数据库为各行业用户带来的业务价值。 本篇文章让我们看看伴鱼 All in TiDB 背后的故事。用科技创新点亮『教育公平』未来,努力让每个孩子享有公平而有质量的教育。伴鱼成立于 2015 年,于 2017 年进入在线少儿英语行业,从入场之初就开始搭建产品矩阵生态,是一个覆盖全年龄、全场景的在线少儿英语教育品牌。2020

2020-11-04 13:13:33 946 2

原创 TiDB DM 2.0 GA,数据迁移不用愁

社会数字化、智能化的发展进程中,海量的数据带来巨大挑战,各行各业都在加速数字化转型,越来越多的企业意识到数据基础设施是成功的关键。然而,作为数据基础设施的核心,传统数据库例如 MySQL 面临性能和容量瓶颈,通过中间件实现的分库分表方案复杂度高,同时带来高昂的运维成本。作为一款企业级 NewSQL 数据库,TiDB 采用计算、存储分离的架构,可以根据业务需要进行弹性的扩展,应对更加实时和智能的数据应用需求。TiDB 提供 Data Migration (DM) 生态工具,帮助用户实现从 MySQL 到 T

2020-11-02 12:45:11 922

原创 PingCAP 与复星达成战略合作,助力复星数字化升级

2020 年 10 月 29 日,平凯星辰(北京)科技有限公司 (以下简称:PingCAP)与上海复星高科技(集团)有限公司达成战略合作,双方将在技术产品、解决方案提供等方面展开深度合作,由 PingCAP 为复星多行业数据中台战略提供数据库的核心解决方案,助力其实现数字化升级。复星首席信息官范若晗(左)PingCAP 创始人、CEO 刘奇(右)在数字化时代的大背景下,复星正处于全面数字化转型发力阶段,中台战略的落地实施将打通整个复星产业生态,强化管理,促进业务融合,提升效率。作为数据中台的重要一环,

2020-11-02 11:56:34 857 2

原创 当 TiDB 与 Flink 相结合:高效、易用的实时数仓

作者介绍:齐智 @PingCAP随着互联网飞速发展,企业业务种类会越来越多,业务数据量会越来越大,当发展到一定规模时,传统的数据存储结构逐渐无法满足企业需求,实时数据仓库就变成了一个必要的基础服务。以维表 Join 为例,数据在业务数据源中以范式表的形式存储,在分析时需要做大量的 Join 操作,降低性能。如果在数据清洗导入过程中就能流式的完成 Join,那么分析时就无需再次 Join,从而提升查询性能。利用实时数仓,企业可以实现实时 OLAP 分析、实时数据看板、实时业务监控、实时数据接口服务等用.

2020-10-27 18:17:59 864

原创 我们为什么要禁用 THP

前言我们之前在生产环境上遇到过很多起由操作系统的某些特征引起的性能抖动案例,其中 THP 作案次数较多,因此本文将和大家分享 THP 引起性能抖动的原因、典型的现象,分析方法等,在文章的最后给出使用THP 时的配置建议及关闭方法。THP(Transparent Huge Page) 简介世界并不是非黑即白的,THP 也是内核的一个重要特征,且持续在演进,其目的是通过将页表项映射更大的内存,来减少 Page Fault,从而提升 TLB (Translation Lookaside Buffer,由存

2020-10-22 18:10:15 696

原创 读论文 - F1 Lightning: HTAP as a Service

作者:马晓宇论文发布之后已经有一段时间了,之前提到的这篇文章由于种种原因也是欠了有些日子,抱歉了大家。上次说过,这次 VLDB 有好些篇都是 HTAP(Hybrid Transactional / Analytical Processing)主题。自打 2014 年 Gartner 提出这个说法,由于针对交易数据的实时分析需求越来越多,这些年来 HTAP 已经变成一个热词。除了 PingCAP 的一篇,还有 IBM 的 PingCAP 的一篇Replication at the Speed of .

2020-10-15 18:05:46 745 1

原创 中移物联网在车联网场景的 TiDB 探索和实现

作者简介:薛超,中移物联网有限公司数据库运维高级工程师中移物联网有限公司是中国移动通信集团公司投资成立的全资子公司,公司按照中国移动整体战略布局,围绕“物联网业务服务的支撑者、专用模组和芯片的提供者、物联网专用产品的推动者”的战略定位, 专业化运营物联网专用网络,设计生产物联网专用模组和芯片,打造车联网、智能家居、智能穿戴等特色产品,开发运营物联网连接管理平台 OneLink 和物联网开放平台 OneNET,推广物联网解决方案,形成了五大方向业务布局和物联网“云-管-端”全方位的体系架构。本次分享主.

2020-10-14 18:22:41 1029 3

原创 基于 TiSpark 的海量数据批量处理技术

作者介绍:杨哲轩,PingCAP 资深解决方案架构师。熟悉 TiSpark 的人都知道,TiSpark 是 Spark 的一个插件,它其实就是给予了 Spark 能够去访问 TiDB 底层分布式存储引擎 TiKV 或者 TiFlash 的能力。之前我们一直在解决读的问题,写问题并没有付出太多的时间去解决。今天就给大家揭秘,我们是怎样使用 TiSpark 去实现海量数据批处理,然后写入到 TiDB 里面去的。传统批处理 vs TiSpark 的批处理在介绍 TiSpark 之前,我们首先来回顾一下传统批

2020-10-12 11:31:38 756

原创 线上环境 Linux 系统调用追踪

提到如何动态追踪进程中的系统调用,相信大家第一时间都能想到 strace,它的基本用法非常简单,非常适合用来解决 “为什么这个软件无法在这台机器上运行?” 这类问题。但如果需要分析线上服务 (特别是延迟敏感型)的某些系统调用的延迟时,strace 则不那么合适,因为它引入的开销会非常大,从性能分析大师 Brendan Gregg 的测试结果得知,被 strace 追踪的目标进程的运行速度会降低 100 倍以上,这对生产环境来说将是个灾难。那么是否有比较好用的工具用在生产环境上呢?答案是肯定的,下面将介绍两

2020-09-28 19:08:41 669

原创 Chaos Mesh® 1.0 GA,让混沌工程变得简单!

Chaos Mesh 是一个云原生的混沌测试平台,在去年的最后一天,我们开源了这个项目,以帮助大家更好的进行混沌实验。从开源到现在近一年的时间里,Chaos Mesh 在所有贡献者的共同努力下,在不断完善新功能的同时,也在易用性和稳定性上取得了阶段性的成果。今天,我们自豪的宣布 Chaos Mesh 1.0 正式发布!Chaos Mesh 1.0 是一个里程碑,不仅支持更多混沌注入的类型,提高了框架组件的稳定性,并且增加了 Chaos Dashboard 组件用来改善 Chaos Mesh 的易用性。下面

2020-09-28 10:52:09 681

原创 TiDB HTAP 深度解读

HTAP (Hybrid Transactional / Analytical Processing)是近些年需求不断受到关注的技术名词,它描述了一个数据库能够同时满足交易以及分析两种作业。TiDB 4.0 是一个针对 HTAP 进行了特别的设计和架构强化,这次给大家带来一篇 VLDB 2020 HTAP 主题的论文解读,比较特殊的是这篇论文是 PingCAP 写的,关于 TiDB HTAP 架构。所以这篇解读,是以作者团队(中的一部分)的视角来写的。原文在此,欢迎指正。说重点论文整体介绍了一下 TiD

2020-09-18 18:43:43 733

原创 奖金升级,TiDB 性能竞赛等你来战!

在 “一切皆可编程、万物皆要互联” 的数字时代,数据成为最重要的生产要素。作为企业 IT 基础架构核心的数据库,应该具备什么样的能力?TiDB 是一款开源 NewSQL 数据库,实现一键水平伸缩,强一致性的多副本数据安全、分布式事务、实时 OLAP 等重要特性。与传统数据库相比,TiDB 既支持分布式 ACID 事务,具备高并发、高可用、弹性伸缩特性,并可同时处理 OLTP 和 OLAP 业务。目前,TiDB 已经被全球近 1000 家行业头部企业应用在生产环境。TiDB 性能竞赛是由 TiDB 社区主

2020-09-17 18:52:49 688

原创 TiCDC 首个 GA 版本发布,特性与场景全揭秘

TiCDC 是一个通过拉取 TiKV 日志实现的 TiDB 增量数据同步工具,具有还原数据到与上游任意 TSO 一致状态的能力,同时提供开放数据协议,支持其他系统订阅数据变更。TiCDC 运行时是无状态的,借助 PD 内部的 etcd 实现高可用。TiCDC 集群支持创建多个同步任务,向多个不同的下游进行数据同步。在 4.0 之前,TiDB 提供 TiDB Binlog 实现向下游平台的近实时复制,在 TiDB 4.0 中,引入 TiCDC 作为 TiDB 变更数据的捕获框架。 TiCDC 首个 GA 版

2020-09-16 10:47:39 828 1

原创 TiDB on Kubernetes 最佳实践

作者介绍:吴叶磊 PingCAP Cloud 工程师。随着 Kubernetes(K8s) 的全面成熟,越来越多的组织开始大规模地基于 K8s 构建基础设施层。然而,考虑到数据库在架构中的核心地位与 K8s 在有状态应用编排上的短板,仍有不少组织认为在 K8s 上运行核心数据库会带来颇高的风险。事实上,在 K8s 上运行 TiDB 不仅能实现企业技术栈的统一,降低维护成本,还能带来更高的可用性与安全性。本次分享将介绍 TiDB 在 K8s 上的运维管理系统 TiDB Operator,再从各类故障场.

2020-09-14 19:50:51 884

原创 读 TiDB 论文有感 | 数据强一致性且资源隔离的 HTAP 数据库

作者介绍:陈现麟,伴鱼技术中台负责人,从 0 到 1 搭建伴鱼技术中台,对分布式架构、服务治理、稳定性建设、高并发高 QPS 系统和中台化的组织架构搭建有一定的经验,崇尚简单优雅的设计,关注云原生和分布式数据库。PingCAP 团队的论文《TiDB: A Raft-based HTAP Database》入选 VLDB 2020,这是对 TiDB 数据库阶段性成果的肯定,非常为国内数据库技术的快速发展而感到高兴。由于关于 TiDB 数据库在高可用、水平扩展和 ACID 事务的实现方案很久以前就已经公布出

2020-09-10 10:51:26 744

原创 TiDB 在 U-Next ARM 平台上的应用与实践

作者介绍:黄必荣,U-Next Senior Engineer。U-Next 是日本领先的视频点播服务公司,类似于国内的爱奇艺、国外的 Netflix。近几年 U-Next 的整体业务保持高速成长的势头,原先的基础架构已经无法应对业务的高速增长,对 IT 基础架构的改造迫在眉睫。为什么选择 TiDB上图是大部分场景采用的架构,属于典型的 MySQL 读写分离方案,采用一个几年前 360 基于 MySQL-Proxy 修改的开源中间件服务 Atlas,从 2015 年使用至今,一直很稳定,也很容易.

2020-09-07 18:14:34 751

原创 PingCAP 开源分布式数据库 TiDB 论文入选 VLDB

8 月 31 日 - 9 月 4 日,第 46 届 VLDB 会议以线上直播的方式举行(原定于日本东京召开),PingCAP 团队的论文《TiDB: A Raft-based HTAP Database 》入选 VLDB 2020 ,成为业界第一篇 Real-time HTAP 分布式数据库工业实现的论文。PingCAP 联合创始人、CTO 黄东旭获邀在会上进行演讲,分享关于论文的深度解读及在线答疑。VLDB(International Conference on Very Large Database

2020-09-04 11:32:47 803

原创 Go Dumpling!让导出数据更容易

作者介绍:李淳竹(lichunzhu),TiDB 研发工程师。Tools SIG Community:主要涵盖 TiDB 数据处理工具,包含 TiDB 数据备份/导入导出,TiDB 数据变更捕获,其他数据库数据迁移至 TiDB 等。Dumpling 是由 Go 语言编写的用于对数据库进行数据导出的工具。目前支持 MySQL 协议的数据库,并且针对 TiDB 的特性进行了优化。Dumpling 的主要特点包括:1. 适配 Mydumper,轻松上手。2. Go 语言编写,定制开发简单。自定义导出

2020-09-03 15:18:22 703

原创 TiKV正式从CNCF毕业,成为云原生时代构建分布式系统基石

今日,云原生计算基金会 ( CNCF ) 宣布 TiKV 正式从 CNCF 毕业。TiKV 是继 Harbor 之后在 CNCF 毕业的第二个中国原创开源项目。从孵化项目晋升为毕业项目,标志着 TiKV 在产品成熟度、项目采用率以及社区持续性等方面取得一系列进展,可应用到各类行业、各种规模的生产环境。TiKV 是一个开源的分布式事务 Key-Value 数据库,专注为下一代数据库提供可靠、高质量、实用的存储架构。最初由 PingCAP 团队在 2016 年 1 月作为 TiDB 的底层存储引擎设计并开发

2020-09-03 13:07:52 691 1

原创 TiKV 源码解析系列文章(二十)Region Split 源码解析

在学习了之前的几篇 raft-rs, raftstore 相关文章之后(如 Raft Propose 的 Commit 和 Apply 情景分析,Raftstore 概览等),raft-rs 以及 raftstore 的流程大家应该基本了解了。其中 raft-rs 解决的是单个 Raft group(即单个 Region) 的问题,raftstore 解决的是多个 Raft group (即多个 Region)的问题。Split 和 Merge 则是 raftstore 多个 Raft group 所独有的

2020-09-02 19:15:30 730 1

原创 「分布式系统之美」知乎圆桌精选大放送第二期|不要放过任何你感兴趣的话题

相信大家看完上周「分布式系统之美」知乎圆桌精选大放送后还意犹未尽,新的一轮热门讨论已被小编盘点下来,快来跟随小编一起看看有什么新的答案吧。标题精选问题 & 回答MySQL 单表日均 15 万数据,主要用来存储数据。有什么可靠的方案?作者:cx3ptr (伴鱼基础架构负责人)单表、单日 15w,一年数据是 5000w,三年是 1.5 亿,从数据量的角度来看并不算大。“主要是存储数据” 可以认为没有复杂的计算,那就从容量、高可用两个角度来阐述下吧。容量方面: 保存三年热数据字段少且简

2020-09-02 12:02:36 705

原创 TiKV 源码解析系列文章(十九)read index 和 local read 情景分析

在上篇文章中,我们讲解了 Raft Propose 的 Commit 和 Apply 情景分析,相信大家对 TiKV 的 Raft 写流程有了大概了解。这篇文章将尝试向大家较为完整的介绍下 TiKV 中的 Raft 读流程的实现,特别是 read index 和 lease read(或称 local read)。关于 read index 和 lease read 的介绍和理论基础,请大家参阅 TiKV 功能介绍 - Lease Read 或者 Raft 论文第 6.4 节,不在这里赘述。如何发起 Ra

2020-08-27 11:09:40 681 1

原创 「分布式系统之美」知乎圆桌精选大放送,快来看看有没有你关注的问题吧!

「分布式系统之美」知乎圆桌已上线一周, 部分问答引发了网友的热烈讨论,接下来就跟随小编一起来盘点大家最关心的问题吧!圆桌精选问答:1. 在什么情况下你需要考虑换个数据库了?作者:kylin (伴鱼技术中台负责人)业务系统为了获得的良好水平扩展能力,都倾向于将业务服务无状态化,将状态存储到数据库中,这样数据库很多时候都是业务系统最核心的部分,所以换数据库是一件需要谨慎决策事情。但是,产生换数据库这个念头,是不需要做一个谨慎的决定,这还只是一个想法,可以先调研,小范围试用,我觉得在下面两个情

2020-08-26 11:09:49 708

原创 Chaos Mesh® X GitHub Actions —— 把混沌工程集成到你的 CI 中

本文将介绍如何在 GitHub Actions 的 workflow 中使用 Chaos Mesh,从而将混沌工程集成到系统开发的 CI 中。阅读本文前,需要对 Chaos Mesh 和 GitHub Actions 有一定的了解:Chaos Mesh 是一个云原生的混沌测试平台,提供在 Kubernetes 上进行混沌测试的能力,可以说 Chaos Mesh 是分布式系统的试金石,可以通过官网 https://chaos-mesh.org 了解更多。GitHub Actions 是 GitH

2020-08-21 18:16:14 706

原创 TiDB 在中国电信翼支付的大规模深度实践

作者介绍:刘宇,天翼支付资深架构师。天翼电子商务有限公司(翼支付)成立于 2011 年 3 月,是中国电信股份有限公司的全资子公司、中国人民银行核准的第三方支付机构、中国证监会核准的基金支付结算机构,是中国电信布局互联网金融的重要板块,是行业领先的创新型金融科技企业。业务覆盖全国近 400 个主要城市,注册用户超 5 亿,合作商户超过 1000 万,覆盖餐饮、娱乐、交通出行、电商购物、民生缴费,通信交费等多个生活场景的便民服务。秉承“响应监管、服务民生、资源共享、合作共赢”的理念,致力于打造安全、便捷.

2020-08-20 18:24:17 1418 1

原创 使用 Horoscope 测试 TiDB 优化器

优化器在数据库中一直位于至关重要的位置,性能调优也常常需要围绕优化器来进行。作为数据库厂商,我们希望在各类复杂的业务场景中,TiDB 都能够给出比较理想的执行计划,因此在优化器和执行器上做了非常多的工作和努力,但是选错执行计划或者索引的情况仍然是日常中最为常见的一个问题。优化器有关的问题可以简单归结为两种:统计信息准确的情况下给出了错误的执行计划。另一类则是在统计信息过期的情况下给错了执行计划。选错索引是其中比较常见的一种情况,用户希望添加索引来加速查询速度,某些情况下,优化器可能会走到

2020-08-19 20:57:59 703

tidb-in-action-20200611.pdf

近年来,随着移动互联网、云计算、大数据和人工智能等技术的飞速发展,给各行业带来了深刻的影响和变革,使得企业的数据量越来越庞大,应用的规模也越来越复杂。在这个背景之下,传统的单机数据库已经在很多场景下表现的力不从心,为了解决海量数据平台的扩展性的问题,TiDB 分布式数据库应运而生。 TiDB 是当今开源 NewSQL 数据库领域的代表产品之一,相比传统的单机数据库,TiDB 有以下的一些优势: 1. 纯分布式架构,拥有良好的扩展性,支持弹性的扩缩容 2. 支持 SQL,对外暴露 MySQL 的网络协议,并兼容大多数 MySQL 的语法,在大多数场景下可以直接替换 MySQL 3. 默认支持高可用,在少数副本失效的情况下,数据库本身能够自动进行数据修复和故障转移,对业务透明 4. 支持 ACID 事务,对于一些有强一致需求的场景友好,例如:银行转账 5. 具有丰富的工具链生态,覆盖数据迁移、同步、备份等多种场景 本书会专注于 TiDB 4.0 的实操与最佳实践,详细介绍 TiDB 的使用和一些相关的原理。

2020-06-11

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除