RadonDB-CSDN博客

原创 MySQL Operator 02 | 脚手架选型 & 工程创建

高日耀资深数据库内核研发毕业于华中科技大学，喜欢研究主流数据库架构和源码，并长期从事分布式数据库内核研发。曾参与分布式 MPP 数据库 CirroData 内核开发（东方国信），现主要负责 MySQL 系列产品内核开发（青云科技）。本文是 MySQL Operator 设计第二篇，上一篇介绍了 MySQL Operator 架构概览和设计思路。这一期将介绍 Operator 脚手架选型和工程创建过程。| Operator 脚手架选型建筑工地在建设房子的时候，最开始都要搭建一个脚手架，便.

2021-11-11 10:26:06 604

原创 MySQL Operator 01 | 架构设计概览

高日耀资深数据库内核研发毕业于华中科技大学，喜欢研究主流数据库架构和源码，并长期从事分布式数据库内核研发。曾参与分布式 MPP 数据库 CirroData 内核开发（东方国信），现主要负责 MySQL 系列产品内核开发（青云科技）。| 背景随着云原生技术的成熟和普及，MySQL 运行在 K8s 平台提供服务的需求也越来越多。使用 MySQL on K8s 模式能够降低 MySQL 复杂的运维要求，对资源的利用也能达到更优的效果。该系列文章将以 RadonDB MySQL Operator.

2021-11-09 14:29:56 2913

原创分享 | 一文了解 PG PITR 即时恢复

作者：颜博青云科技数据库研发工程师目前从事 PostgreSQL 产品开发工作，热衷于 PostgreSQL 数据库的学习和研究在数据库系统中，数据是一切的基础，数据的安全更是重中之重。但可能因为各种原因导致数据丢失或损坏，因此数据的备份和恢复便显得尤为重要。PostgreSQL 是一个强大的开源对象关系数据库系统，经过 30 多年的积极开发，在可靠性、功能稳健性和性能方面赢得了良好的声誉。Point-In-Time Recovery（简称 PITR）是 PostgreSQL 的基于时间点的数.

2021-11-05 14:23:07 442

原创 RadonDB ClickHouse on K8s 2.1.0 发布

RadonDB ClickHouse Kubernetes 于 10 月 29 日发布了第三个版本 2.1.0 [1]。该版本也是由 Operator 方式实现的第二个版本。致谢首先感谢 @dbkernel @su-houzhen @TCeason @wufan @molliezhang 提交的修改。| 什么是 RadonDB ClickHouse？RadonDB ClickHouse 是一个分布式实时分析型列式存储数据库。具备高性能，支撑PB级数据，提供实时分析，稳定可扩展等特性。适用于数据仓

2021-11-04 17:51:56 1248

原创 RadonDB MySQL on K8s 2.1.0 发布

RadonDB MySQL Kubernetes 于 10 月 22 日发布了第四个版本 2.1.0 [1]。该版本也是由 Operator 方式实现的第二个版本。该项目的开源，意在为广大的 K8s 和 MySQL 开发者们，提供一款企业级的 MySQL on K8s 高可用解决方案。致谢首先感谢 @andyli029 @hustjieke @zhyass @runkecheng @acekingke @molliezhang 提交的修改。| 什么是 RadonDB MySQL？RadonDB

2021-11-02 14:28:16 366

原创容器化 | ClickHouse Operator 原理解析

作者：苏厚镇青云科技数据库研究工程师从事 RadonDB ClickHouse 相关工作，热衷于研究数据库内核。通过《ClickHouse on K8s 部署篇》，对比了 RadonDB ClickHouse 集群在 Kubernetes 中部署的几种方案，表明使用 Operator 进行部署和管理是最方便快捷的。那么到底什么才是 Operator，Operator 又是如何与 Kubernetes 进行协同工作的，Operator 的代码逻辑又是怎样的？本篇将基于 Operator 基本概念和.

2021-10-14 14:02:22 850

原创源码 | 为金融场景而生的数据类型：Numeric

高日耀资深数据库内核研发毕业于华中科技大学，喜欢研究主流数据库架构和源码，并长期从事分布式数据库内核研发。曾参与分布式 MPP 数据库 CirroData 内核开发（东方国信），现主要负责 MySQL 系列产品内核开发（青云科技）。笔者曾做过数据库 Data Type 相关的设计和从 0 到 1 的源码实现，对 Numeric（与 Decimal 等价，都是标准 SQL 的一部分）, Datetime, Timestamp, varchar … 等数据类型的设计、源码实现及在内存中计算原理.

2021-10-08 10:56:17 387

原创译文 | MySQL 8.0 密码管理策略（一）

作者：Sri Sakthivel原文链接：https://www.percona.com/blog/enhanced-password-management-systems-in-mysql-8-part-1MySQL 8.0 在密码管理方面有很多改善，本文将介绍以下两个特性。密码重用策略生成随机密码| 1 密码重用策略该策略简单说，就是设置新密码时，可以限制禁止使用曾经用过的密码。有以下两种策略：历史密码 password_history间隔时间 password_reuse_i.

2021-09-29 11:07:49 345

原创设计 | ClickHouse 分布式表实现数据同步

作者：吴帆青云数据库团队成员主要负责维护 MySQL 及 ClickHouse 产品开发，擅长故障分析，性能优化。在多副本分布式 ClickHouse 集群中，通常需要使用 Distributed 表写入或读取数据，Distributed 表引擎自身不存储任何数据，它能够作为分布式表的一层透明代理，在集群内部自动开展数据的写入、分发、查询、路由等工作。Distributed 表实现副本数据同步有两种方案：Distributed + MergeTreeDistributed + Repli.

2021-09-23 16:41:22 1145

原创高可用 | 关于 Xenon 高可用的一些思考

原创：知数堂上一篇文章，我们详细介绍了 Xenon 实现 MySQL 高可用架构的常用操作。本篇将对关于 Xenon 高可用的一些思考及高频问题进行解答。问题 1：宕机时 binlog 有 gap 会补日志吗？Xenon 不会补日志，Xenon 只会从包含最大 GTID 的所有 Follower 中选举一个 Follower，使之成为 Leader 。重新配置主从复制，并把 VIP 切换到新的主节点上。注意：如果此时主从有延时，当主库异常，新主上存在还未应用的 Relay Log 时，新主将.

2021-09-17 13:45:54 410

原创盘点 | 主流云原生数据库技术方案

作者：柯煜昌顾问软件工程师目前从事 RadonDB 容器化研发，华中科技大学研究生毕业，有多年的数据库内核开发经验。你将 Pick 这些内容：云原生的概念云原生数据库的概念两种主流技术路线分析六种云原生数据库方案和功能介绍云原生数据库的核心功能和价值背景随着云计算的蓬勃发展，IT 应用转向云端，云服务出现如下若干特点：提供按需服务；用户只愿支付运营费用而不愿支付资产费用；云服务提供商集群规模越来越大，甚至遍布全球，集群达到云级规模（Cloud-Scale）。根据以上特.

2021-09-13 15:40:14 559

原创高可用 | Xenon 实现 MySQL 高可用架构常用操作篇

上一篇文章，我们详细介绍了 Xenon 实现 MySQL 高可用架构的部署过程。接下来本篇将介绍 Xenon 的常用操作，帮助大家在完成环境搭建之后，能把 Xenon 熟练的用起来，以更好的对 MySQL 高可用架构进行管理。| 1 启动集群1.1 启动 MySQL# db1:[mysql@db1 ~]$ nohup mysqld_safe --defaults-file=/etc/my.cnf &[1] 5526[mysql@db1 ~]$ nohup: ignoring input

2021-09-03 17:25:18 776

原创源码 | 解析 Redo Log 实现方式

柯煜昌顾问软件工程师目前从事 RadonDB 容器化研发，华中科技大学研究生毕业，有多年的数据库内核开发经验。| 前言提及 Redo Log（重做日志）与 LSN（log sequece number）时，经常被问及以下问题：MySQL 的 InnoDB 为什么要有 Redo Log？LSN 是什么？LSN 与 Redo Log 之间有什么相互关系？Redo Log 如何轮换？……基于 MySQL 8.0 的源码，以及对 InnoDB 机制一些内部探讨与分享，写了几篇关于 Red.

2021-09-02 17:09:42 273

原创设计 | 基于 Redis 谈一谈缓存设计思想

王奇顾问软件工程师目前从事 PaaS 中间件服务（Redis/MongoDB/ELK 等）开发工作，对 NoSQL 数据库有深入的研究以及丰富的二次开发经验，热衷对 NoSQL 数据库领域内的最新技术动态的学习，能够把握行业技术发展趋势。| 前言前段时间跟同事一起聊到 Redis 的那些坑，不谋而合感触很深。有的时候当业务规模未达到一定瓶颈，很可能发现不了问题，例如下面的这段代码。public static LotteryPeriod getCurrentAwardNumberPeriod(S.

2021-08-31 14:27:23 243

原创高可用 | Xenon 实现 MySQL 高可用架构部署篇

在《高可用 | Xenon：后 MHA 时代的选择》一文中，我们对 Xenon 的实现原理、应用场景等做了简要介绍。文章发布后，社区小伙伴都在咨询 Xenon 如何与 MySQL 配合使用？本文来自知数堂投稿，是一篇基于 Xenon 架构原理，部署一主两从架构的 MySQL 高可用集群的实操文档。Xenon 架构图环境信息：Redhat 7MySQL 5.7Xenon 1.0.7XtraBackup 24*另：Xenon 支持 MySQL 5.6/5.7/8.0 内核，本文以

2021-08-26 11:57:58 979

原创云原生 | 混沌工程工具 ChaosBlade Operator Pod 篇

作者：丁源 RadonDB 测试负责人负责 RadonDB 云数据库、容器化数据库的质量性能测试，迭代验证。对包括云数据库以及容器化数据库性能和高可用方案有深入研究。继《混沌工程工具 ChaosBlade Opeator 系列》的入门篇和 Node 篇之后。本期将针对 Pod 类资源的应用场景进行测试，测试场景包括：资源场景，比如删除 Pod网络资源场景，比如网络延迟文件系统异常场景不可用异常场景| 实验环境测试对象基于 KubeSphere 平台的 RadonDB MySQ.

2021-08-19 16:47:31 431

原创缓存 | Redis 缓存避坑指南

作者：马功伟青云科技软件开发工程师目前从事青云数据库管理平台开发工作，一直从事 Server 端开发工作。高并发业务场景下，常使用缓存技术缓解数据库压力，可极大的提升用户体验和系统稳定性。由于 Redis 自身的诸多特性，很适合用来做缓存。下面是一个常见的缓存查询流程。缓存查询流程虽然缓存带来了较多数据库使用性能方面的提升，也会带来一些缓存使用问题。本文将为大家介绍并区分缓存穿透，缓存击穿，缓存雪崩三个常见缓存问题，并针对不同问题提供相应解决思路。| 缓存击穿查询请求下发后，.

2021-08-18 18:24:33 251

原创容器化 | ClickHouse on K8s 部署篇【建议收藏】

作者：苏厚镇青云科技数据库研发工程师目前从事 RadonDB ClickHouse 相关工作，热衷于研究数据库内核。延续上篇《容器化 ClickHouse on K8s 基本概念解析篇》，可以了解到 Operator 提供简便管理 ClickHouse 集群功能，Helm 提供便捷部署集群功能。本篇将以部署 RadonDB ClickHouse[1] 作为示例。在同样选用 Operator 的条件下，比较Kubectl 和 Helm 两种方式在 K8s 上部署 ClickHouse 集群的.

2021-08-17 10:56:08 1910

原创容器化 | ClickHouse on K8s 基础篇

作者：苏厚镇青云科技数据库研发工程师目前从事 RadonDB ClickHouse 相关工作，热衷于研究数据库内核。ClickHouse[1] 是一款用于联机分析（OLAP）的列式数据库管理系统（DBMS）。由号称“俄罗斯 Google”的 Yandex 公司开发，并于 2016 年开源，近年在计算引擎技术领域受到越来越多的关注，算是数据库后起之秀。Kubernetes[2] 是 Google 公司于 2014 年 6 月开源的一款容器集群管理系统。适用于管理云平台多个主机的容器化应用，旨.

2021-08-13 12:20:19 559

原创工具 | 使用 CLion 编译调试 MySQL 8.0

MySQL 源代码是基于关系模型理论的具体实现，是数据库理论与实践的结合。阅读 MySQL 及相关工具的源代码，不仅是数据库研发人员的日常，也是 DBA 进阶的必经之路，全方位提高技术水平。夯实原理：对数据库基础理论以及事务等相关理论更加深刻的认识；优化性能：更加深入理解配置项的作用，适配环境，提升性能；定位故障：有助于数据库故障的快速定位，知其然也知其所以然；拥抱开源：修改源代码（修改 Bug、完善功能、提升性能），回馈开源。| 从哪开始阅读？阅读 MySQL 源代码，主要是指阅

2021-08-11 15:20:00 963

原创云原生 | 混沌工程工具 ChaosBlade Operator Node 篇

作者：丁源 RadonDB 测试负责人负责 RadonDB 云数据库、容器化数据库的质量性能测试，迭代验证。对包括云数据库以及容器化数据库性能和高可用方案有深入研究。接上期《混沌工程工具 ChaosBlade Opeator 系列的入门篇》，本期将使用 ChaosBlade Opeator 工具，针对 Node 类资源的应用场景进行测试，测试场景包括：CPU 负载场景网络延迟场景网络丢包场景kill 指定进程stop 指定进程| 实验环境测试对象基于 KubeSphere 平台的.

2021-08-05 13:17:10 371

原创云原生 | 混沌工程工具 ChaosBlade Operator 入门篇

作者：丁源 RadonDB 测试负责人负责 RadonDB 云数据库、容器化数据库的质量性能测试，迭代验证。对包括云数据库以及容器化数据库性能和高可用方案有深入研究。近日，国内多家网站同时发生短期服务不可用现象，一夜冲上圈内热搜。据官方答复，是由于部分服务器机房发生故障，导致网站无法访问。为了避免这种情况，提高系统架构的可靠性，保障业务的连续性，希望能在故障之前找到导致 “崩盘” 的缺口。十多年前，国外的互联网公司就已经在云化、分布式、微服务等前沿技术的使用过程中，遇到了类似的问题，并由此诞生了混.

2021-08-04 12:09:58 690

原创容器化 | 基于 Kubernetes 的新一代 MySQL 高可用架构实现方案

作者：高日耀资深 MySQL 内核研发本文源于作者在 KubeSphere & Friends 2021 杭州站的演讲内容《基于 Kubernetes 的新一代 MySQL 高可用架构实现方案》。本文是 MySQL 容器化系列的第三篇文章，主要介绍 MySQL 容器化 Helm 版本[1] 的设计思路。Dockerfile 简介首先 RadonDB MySQL 一个 Pod 中的容器角色中，一般包含 MySQL、Xenon、slowlog 三个容器。其中，MySQL 和 Xe..

2021-07-02 11:55:02 1112

原创容器化 | 在 Kubernetes 上部署 RadonDB MySQL 集群

作者：程润科数据库研发工程师目前从事 RadonDB MySQL Kubernetes 研发，热衷于研究数据库内核、K8s 相关技术。RadonDB MySQL 是一款基于 MySQL 的开源、高可用、云原生集群解决方案。支持一主多从高可用架构，并具备安全、自动备份、监控告警、自动扩容等全套管理功能。目前已经在生产环境中大规模的使用，包含银行、保险、传统大企业等。RadonDB MySQL Kubernetes 支持在 Kubernetes 上安装部署和管理，自动执行与运行 RadonDB My.

2021-06-23 19:42:10 629

原创容器化 | MySQL on K8s 开源开放的高可用容器编排方案

作者：高日耀资深 MySQL 内核研发本文源于作者在 KubeSphere & Friends 2021 上海站的演讲内容《MySQL on K8s：开源开放的 MySQL 高可用容器编排方案》。MySQL 是世界上最流行的开源数据库，在容器及 K8s 技术出来之前，就已经在各行各业中广泛的应用。本文将为大家分享 MySQL 容器化方面的一些实践。| MySQL 运维有哪些挑战？传统的物理部署方式，即把数据库部署在物理机上。对运维人员而言，会遇到图 1 中四个维度的挑战。1、成本..

2021-06-17 10:43:45 551

原创问题定位 | XtraBackup 8.0 数据重建避坑事件始末

作者：卢文双资深数据库研发工程师目前负责青云云数据库的研发工作，热衷于研究主流数据库架构、源码，对关系型数据库 MySQL/PostgreSQL 及分布式数据库有深入研究。前言在为 Xenon[1] 适配新版 Percona XtraBackup 8.0[2]（原有代码适配于 2.4 版本）时遇到的一些问题，在定位过程中对比了 XtraBackup 2.4 和 8.0 的异同。版本信息[3]：Percona-Server 8.0.19-10Percona-Xtrabackup 8.0.1.

2021-06-15 11:46:31 505

原创 HTAP | MySQL 到 ClickHouse 的高速公路

作者：TCeason 青云科技数据库研发工程师2000 年至今，MySQL[1] 一直是全球最受欢迎的 OLTP（联机事务处理）数据库，ClickHouse[2] 则是近年来受到高度关注的 OLAP（联机分析处理）数据库。那么二者之间是否会碰撞出什么火花呢？本文将带领大家打破异构数据库壁垒，将 MySQL 数据同步至 ClickHouse。背景1、MySQL 复制的发展历程图 1-1 详细罗列了 MySQL 复制的发展历程。2001 年的 MySQL 3.23 版本就已经支持了同构数据..

2021-06-09 11:52:24 337

原创高可用 | Xenon：后 MHA 时代的选择

原创：知数堂| MySQL 高可用的选择在 MySQL（5.5 及以下）传统复制的时代，MHA（Master High Availability）在 MySQL 高可用应用中非常成熟。在 MySQL（5.6）及 GTID 时代开启以后，MHA 却没有与新的 MySQL 一起顺应时潮。MHA 由日本 DeNA 公司 youshimaton 开发，他认为在 GTID 环境下 MHA 存在的价值不大，MHA 最近一次发版是 2018 年。现如今使用 MySQL 已离不开 GTID ，无论是从功能、性能.

2021-06-07 10:46:21 909 4

RadonDB的博客