自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(20)
  • 收藏
  • 关注

原创 分布式 | DBLE 3.20.07.0 来啦!

3.20.07.0 版本 DBLE Release Notes以下对 DBLE 3.20.07.0 版本的 Release Notes 进行详细解读。文章主要分为以下三部分内容:一、DBLE 项目介绍二、新版本主要更新解读三、完整 Release Notes 及翻译https://github.com/actiontech/dble一、DBLE 项目介绍DBLE 是企业级开源分布式中间件,江湖人送外号 “MyCat Plus”;以其简单稳定,持续维护,良好的社区环境和广大的群众基础得到.

2020-08-31 15:40:40 701

原创 新特性解读 | 备份锁

作者:姚远专注于 Oracle、MySQL 数据库多年,Oracle 10G 和 12C OCM,MySQL 5.6 ,5.7,8.0 OCP。现在鼎甲科技任顾问,为同事和客户提高数据库培训和技术支持服务。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。MySQL8.x 中新增了一个轻量级的备份锁,它允许在 online 备份的时候进行 DML 操作,同时可防止快照不一致。这个锁禁止的操作很少,它禁止的操作包括:文件的创建、删除、改名账户的.

2020-08-28 16:33:54 288

转载 第03期:ClickHouse 之集群搭建以及数据复制

本期作者:邓亚运37 互娱高级 DBA,负责公司 MySQL,Redis,Hadoop,Clickhouse 集群的管理和维护。前面的文章简单的介绍了 ClickHouse(第01期),以及也进行了简单的性能测试(第02期)。本期说说集群的搭建以及数据复制,如果复制数据需要 zookeeper 配合。环境:1)3 台机器。我这里是 3 台虚拟机,都安装了 clickhouse。2)绑定 hosts,其实不绑定也没关系,配置文件里面直接写 ip。(3 台机器都绑定 hosts,如下)192.1.

2020-08-27 16:44:22 479

原创 技术分享 | MySQL 复制那点事 - Seconds_behind_Master 参数调查笔记

作者:戴骏贤网易游戏 技术部资深数据库系统工程师。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。文章阅读时间约 15 分钟,文中著名参考文献在文末处有参考链接。1. 问题背景部门当前的数据库架构是 双主模式,既线上由 2 台互为主从的数据库搭建而成的集群。高可用通过 vip 和 headbeat 来做保证。通常情况下,vip 挂在主(本文称之为 da)上,当 da 发生了异常比如宕机等问题的时候,vip 自动漂移至从(本文称之为 dp).

2020-08-26 16:32:11 806

原创 第05期:Prometheus 数据查询(一)

本期作者:沈亚军爱可生上海研发中心成员,研发工程师。Prometheus 数据基本查询上篇文章【第04期:Prometheus 数据采集(三)】介绍了 Prometheus 数据采集流程,本文开始将介绍 Prometheus 数据查询。本文会介绍数据查询的基本使用。PromQL 简介Prometheus 通过指标名称(metrics name)以及对应的一组标签(labelset)唯一定义一条时间序列。指标名称反映了监控样本的基本标识,而 label 则在这个基本特征上为采集到的数据提供了多种.

2020-08-24 16:44:07 2353

原创 第19问:MGR 架构,如果一个节点网络不稳,消息缓存会被撑满么?

问题已知情况如下:MySQL 版本为 8.0.21(随 8.0 的小版本升级,MGR 参数和行为变更频繁,需要特别注意版本号)。MGR 架构,一个节点 C 网络不稳时,与其他节点的通讯断开。通讯断开后,一定时间内(5 秒 + group_replication_member_expel_timeout 秒)a. 其他节点开始质疑节点 C 可能掉线。在其他节点上,节点 C 的状态为 UNREACHABLE。b. 其他节点仍然能协商并提交新事务,其协商的信息会保存在消息缓存中。通讯恢复后,节点.

2020-08-21 16:37:57 331

转载 第02期:ClickHouse 单机部署以及从 MySQL 增量同步数据

本期作者:邓亚运37 互娱高级 DBA,负责公司 MySQL,Redis,Hadoop,Clickhouse 集群的管理和维护。背景随着数据量的上升,OLAP 一直是被讨论的话题,虽然 druid,kylin 能够解决 OLAP 问题,但是 druid,kylin 也是需要和 hadoop 全家桶一起用的,异常的笨重,再说我也搞不定,那只能找我能搞定的技术。故引进 clickhouse,关于 clickhouse 在 17 年本人就开始关注,并且写了一些入门的介绍,直到 19 年 clickh..

2020-08-20 17:19:58 1027

原创 第11期:压缩表

一、概念压缩表从名字上来看,简单理解为压缩后的表,也就是把原始表根据一定的压缩算法按照一定的压缩比率压缩后生成的表。1.1 压缩能力强的产品表压缩后从磁盘占用上看要比原始表要小很多。如果你熟悉列式数据库,那对这个概念一定不陌生。比如,基于 PostgreSQL 的列式数据库 Greenplum;早期基于 MySQL 的列式数据库 inforbright;或者 Percona 的产品 tokudb 等,都是有压缩能力非常强的数据库产品。1.2 为什么要用压缩表?情景一:磁盘大小为 1T,不算其他的.

2020-08-19 16:40:53 606

翻译 技术译文 | MySQL 8 需要多大的 innodb_buffer_pool_instances 值(下)

作者:Vadim Tkachenko翻译:管长龙本文来源:https://www.percona.com/blog/2020/08/13/how-many-innodb_buffer_pool_instances-do-you-need-in-mysql-8/在《技术译文 | MySQL 8 需要多大的 innodb_buffer_pool_instances 值(上)》中我们在 innodb_buffer_pool_size=25G 的条件下进行了对 innodb_buffer_pool_i.

2020-08-18 16:36:10 917

翻译 技术译文 | MySQL 8 需要多大的 innodb_buffer_pool_instances 值(上)

作者:Vadim Tkachenko翻译:管长龙本文来源:https://www.percona.com/blog/2020/08/13/how-many-innodb_buffer_pool_instances-do-you-need-in-mysql-8/我曾经在文章《MySQL 5.7 安装后的性能调优》(文末链接)和《MySQL 101:调整 MySQL 性能的参数》(文末链接)中谈到过 innodb_buffer_pool_instances 这个参数 ,建议使用值为“8”,但我不能.

2020-08-17 14:33:59 872

翻译 技术译文 | How Can ScaleFlux Handle MySQL Workload?

本文是一篇译文,介绍 Percona 的工程师对 ScaleFlux 的性能压测报告翻译:杨奇龙原文地址:https://www.percona.com/blog/2020/08/06/how-can-scaleflux-handle-mysql-workload/最近作者有一个针对 ScaleFlux 的产品也叫做 CSD 2000 进行压测的机会. 本文中作者将介绍使用 Intel SSD 和 ScaleFlux 存储设备进行压测的对比结果。一 我们为什么需要不一样的 ScaleFlux?.

2020-08-14 16:38:10 241

转载 第01期:一文了解 ClickHouse

一、简介1.1 ClickHouse 是什么?ClickHouse 是 Yandex(俄罗斯最大的搜索引擎)开源的一个用于实时数据分析的基于列存储的数据库,其处理数据的速度比传统方法快 100-1000 倍。ClickHouse 的性能超过了目前市场上可比的面向列的 DBMS,每秒钟每台服务器每秒处理数亿至十亿多行和数十千兆字节的数据。1.2 ClickHouse的一些特性:快速:ClickHouse 会充分利用所有可用的硬件,以尽可能快地处理每个查询。单个查询的峰值处理性能超过每秒 2 TB(.

2020-08-13 16:33:19 458

翻译 技术译文 | MySQL 8.x DDL 和查询重写插件

作者:Sri Sakthivel翻译:管长龙本文来源:https://www.percona.com/blog/2020/08/07/mysql-8-x-ddl-rewriter-and-query-rewriter-plugins-implementation-and-use-cases/对 MySQL 查询重写以提高性能是每个 DBA 应该意识到的重要过程,以便他们可以在运行时修复错误的查询,而无需在应用程序端更改代码。到目前为止,MySQL 社区提供了两个内置的查询重写插件来执行此任务。.

2020-08-12 16:40:59 213

原创 故障分析 | 记一次 MySQL 主从双写导致的数据丢失问题

作者:戴骏贤网易游戏 技术部资深数据库系统工程师。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。1. 问题起源不久前用户反馈部门的 MySQL 数据库发生了数据更新丢失。为了解决这个问题,当时对用户使用的场景进行了分析。发现可能是因为用户在两台互为主从的机器上都进行了写入导致的数据丢失。如图所示,是正常和异常情况下应用写入数据库的示例。随后在更加深入调查问题的过程中,DBA 发现了故障引起数据丢失的原因:如图 1-2 所示为故障具体过程.

2020-08-11 16:44:48 541

原创 新特性解读 | GROUPING() 函数用法解析

作者:杨涛涛资深数据库专家,专研 MySQL 十余年。擅长 MySQL、PostgreSQL、MongoDB 等开源数据库相关的备份恢复、SQL 调优、监控运维、高可用架构设计等。目前任职于爱可生,为各大运营商及银行金融企业提供 MySQL 相关技术支持、MySQL 相关课程培训等工作。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。MySQL 8.0 新增了 GROUPING() 函数,用来理清 GROUP BY with rollup 子句检.

2020-08-10 16:35:25 2612 1

原创 技术分享 | MySQL binlog 日志解析

作者:xuty本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。很多时候,当我们的业务数据产生了不正常的变化,但却无法得知这类操作是在哪里进行,并且如何进行,单单从程序当面排查很费力。那么就需要通过分析数据库日志来得到历史执行 SQL,根据 SQL 执行逻辑来确认代码位置,进而确认是否是 BUG,亦或是误操作等。一 、binlog 简介binlog 是 MySQL Server 层记录的二进制日志文件,用于记录 MySQL 的数据更新或者潜在.

2020-08-07 16:31:25 295

原创 技术分享 | 怎么找到上锁的 SQL 语句

作者:岳明强爱可生北京分公司 DBA 团队成员,负责数据库管理平台的运维和 MySQL 问题处理。擅长对 MySQL 的故障定位。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。问题有的时候 SQL 语句被锁住了,可是通过 show processlist 找不到加锁的的 SQL 语句,这个时候应该怎么排查呢前提performance_schema = on;实验1、建一个表,插入三条数据mysql> use test1;Da.

2020-08-06 16:33:39 449

原创 第10期:选择合适的表空间

表空间的选择,可以说是对表的日常管理以及访问性能有非常紧密的联系。表空间是用来管理 MySQL 关系表的一种形式,有自己的磁盘文件。MySQL 表空间可分为共享表空间和单表空间;其中共享表空间又可分为系统表空间和通用表空间。下面我来逐一看下每种表空间的相关特性。一、系统表空间在 MySQL 数据目录下有一个名为 ibdata1 的文件,可以保存一张或者多张表。923275 12M -rw-r----- 1 mysql mysql 12M 3月 18 10:42 ibdata1这个文件.

2020-08-05 16:37:16 229

原创 第04期:Prometheus 数据采集(三)

本期作者:罗韦爱可生上海研发中心成员,研发工程师,主要负责 DMP 平台监控告警功能的相关工作。Prometheus 的监控对象各式各样,没有统一标准。为了解决这个问题,Prometheus 制定了一套监控规范,符合这个规范的样本数据可以被 Prometheus 采集并解析样本数据。Exporter 在 Prometheus 监控系统中是一个采集监控数据并通过 Prometheus 监控规范对外提供数据的组件,针对不同的监控对象可以实现不同的 Exporter,这样就解决了监控对象标准不一的问题。从.

2020-08-04 14:56:38 1718

转载 技术分享 | MySQL史上最快逻辑备份工具

作者:洪斌爱可生南区负责人兼技术服务总监,MySQL ACE,擅长数据库架构规划、故障诊断、性能优化分析,实践经验丰富,帮助各行业客户解决 MySQL 技术问题,为金融、运营商、互联网等行业客户提供 MySQL 整体解决方案。本文来源:转载自公众号-玩转MySQL*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。MySQL Shell 8.0.21 增加了一种新的逻辑备份恢复方法,有更快的备份恢复效率,支持zstd实时压缩,支持分块并行导出,load data并行.

2020-08-03 17:11:01 537

ActionDB 产品技术白皮书

ActionDB是一款高性能的企业级分布式数据库产品,其底层基于OceanBase开源内核,并获得原厂授权和内核技术支持,充分发挥了爱可生多年在开源数据库领域的专业经验和技术优势。ActionDB不仅继承了OceanBase稳定可靠、高性能的优点,还增强了MySQL兼容性,提供了企业级的安全特性、易用的运维管理工具,更好地融合了爱可生的技术积累和服务优势,提供更高质量、更完整的数据库产品和服务。

2023-10-08

SQL 审核工具:SQLE v2.2308 用户手册

SQLE 是由上海爱可⽣信息技术股份有限公司 开发并开源,⽀持 SQL 审核、索引优化、事前审核、事后审核、⽀持标准化上线流程、原⽣⽀持 MySQL 审核且数据库类型可扩展的 SQL 审核⼯具。 产品特性 SQL审核规范 1. 审核规则⾃定义(700+条) 2. ⽀持审核结果分级展⽰,⽀持⽣成下载审核报告 3. ⽀持规则模版,灵活组合规则 4. 审核⽩名单,跳过特例SQL 5. ⽀持集成 IDE ⾃助审核 多场景审核 标准化上线流程 多数据库类型⽀持 1. 统⼀接⼝,可通过插件进⾏多数据库审核扩展 2. 内置MySQL审核插件,官⽅⽀持常⽤数据库类型,包括 PostgreSQL、Db2、Oracle、OceanBase 等 统⼀的SQL客⼾端入口 提供审核管控的SQL客⼾端,杜绝执⾏不合规SQL 丰富的集成能⼒ 1. 标准HTTP API接⼝可与客⼾内部流程系统对接 2.⽀持LDAP,Oauth2⽤户对接 3. ⽀持邮件、微信企业号、webhook 告警对接

2023-10-07

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除