woqutechteam的博客

MySQL to Clickhouse，目前有ClickHouse原生提供的同步工具、命令行同步工具和界面指引型同步工具。原生的工具暂时不能用在生产环境，命令行工具使用起来比较繁琐，界面型相对简单易用。

沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。前 言本篇文章介绍Orchestrator raft多节点模式...

沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。之前文章（引用沃趣技术--《当心！使用mysqldump备份可能会让...

沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。前言上篇文章讲了orchestrator的探测机制。本篇文章翻译...

沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。上篇文章讲了orchestrator复制拓扑的发现方式。本篇文章我们...

沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。在上一期《复制信息记录表|全方位认识 mysql 系统库》中，我们详...

沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。背 景上篇文章讲了orchestrator单节点的安装。本篇...

沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。前两期文章（引用沃趣技术——《prometheus监控多个MySQL...

背 景MySQL高可用方案有很多种，常见的有：keepalived、MHA、Galera、MGR、Orchestrator、replication-manager等。本系列将介绍在GitHub被使用的Orchestrator方案。本篇文章先介绍最基础的单节点模式的安装。环 境orchestrator机器：10.10.30.146orchestrator后端元数据库MySQL：1...

在上一期《时区信息记录表|全方位认识 mysql 系统库》中，我们详细介绍了mysql系统库中的时区信息记录表，本期我们将为大家带来系列第七篇《复制信息记录表|全方位认识 mysql 系统库》，下面请跟随我们一起开始 mysql 系统库的系统学习之旅吧！1、复制信息表概述复制信息表用于在从库在复制主库的数据期间，用于保存从主库转发到从库的二进制日志事件、记录有关中继日志当前状态和位置的信息...

在上一期《优化器成本记录表|全方位认识 mysql 系统库》中，我们详细介绍了mysql 系统库中的优化器成本记录表，本期我们将为大家带来系列第六篇《时区信息记录表|全方位认识 mysql 系统库》，下面请跟随我们一起开始 mysql 系统库的系统学习之旅吧！01 时区信息概述MySQL服务器维护几个时区设置： 系统时区：当Server启动时，尝试确定主机的时区并使用它来设置Serv...

在上一期《统计信息记录表|全方位认识 mysql 系统库》中，我们详细介绍了mysql系统库中的统计信息记录表，本期我们将为大家带来系列第五篇《优化器成本记录表|全方位认识 mysql 系统库》，下面请跟随我们一起开始 mysql 系统库的系统学习之旅吧！01 优化器成本模型概述为了生成执行计划，优化器使用了基于成本的模型来对各种操作成本进行估算。优化器具有一组可编辑的默认“成本常量”（这...

当用Explain查看SQL的执行计划时，里面有列显示了 key_len 的值，根据这个值可以判断索引的长度，在组合索引里面可以更清楚的了解到了哪部分字段使用到了索引。下面演示中，表结构的合理性这边暂且不说，只是证明一下索引长度的计算方法。目前大部分博文是字符类型的索引长度计算方法，下面列举几个类型的索引长度计算方法。

前言:SQL线程应用中继日志，在binlog_format是row格式的时候，是居于主键更新，下面结合一张图来证明。

最近我们遇到一个MySQL的问题，分析后很有代表意义，特地写出来供大家参考。

作者简介：孙朝阳 沃趣科技高级产品经理。案发现场： Gitlab删库事件回顾Gitlab是大家很熟悉的开源Git代码托管工具，国内公司大多使用社区版自行搭建私有化的内部代码托管平台。Gitlab 的数据库采用PostgreSQL集群，db1.cluster和db2.cluster。另外还有db1.staging 和 db2.staging两台staging数据库

上述现象在数据库中大家经常看到，但是数据库到底是怎么实现的，深究的人就不多了。 其实原理很简单，数据库就是通过UNDO和MVCC来实现的。

GTID是5.6新增特性，减少DBA运维的工作。在以前一主两从架构下当主库M1发生故障我们需要选择一个从库S1作为新的主库，但是S2要重新change master 到新主库上 这时master_log_file和master_log_pos我们怎么获取到呢？在没有GTID时 MHA架构帮我们解决了这个问题，在有了GTID情况下 我们只需要在S2上面重新change master 下 设置MASTER_AUTO_POSITION = 1即可。 本文介绍下在GTID复制下遇到了错误如何解决。

如果你要写一个脚本调用mysql命令来获得server_id的值，这个Warning的信息绝对是你的噩梦。 提示这个安全原因本来无可厚非，但是坑爹的是，没有任何一个参数或者开关能关闭这个Warning。

参数描述MySQL中不同的版本优化器会有很多新特性，比如MRR、BKA等，optimizer_switch这个参数就是控制查询优化器怎样使用这些特性。很多情况下我们会根据自身的需求去设置optimizer_switch满足我们的需求。前段时间客户的环境中遇到一个奇怪的问题，select count(*)显示返回是有数据但是select * 返回是空结果集，最终的原因就是因为optimizer_

玩过binlog server的同学都知道，它使用mysqlbinlog命令以daemon进程的方式模拟一个slave的IO线程与主库连接，可以很方便地即时同步主库的binlog，以便弥补定时备份策略中最近一次备份到下一次备份完成之前这段时间内的数据容易丢失的问题。

想必数据库的同行们都知道，热点数据导出导入的动作，使得数据库重启之后，不需要再耗费大量的时间来预热，使得因为热点数据的原因导致数据库性能波动的时间大大减少，那么执行热点数据的导出与导入操作时究竟对数据库的性能有没有影响呢？如果你的服务器拥有超大内存，而且设置了一个对应内存一定比例的超大buffer pool，是否在纠结需不需要设置热点数据在重启时自动导出导入呢？下面一起看演示过程，答案就在其中。

Oracle DBA都应该知道 Oracle中提供了大量的视图供DBA们排查问题使用，并且有等待事件帮助大家快速定位问题属于哪一类。MySQL 中也有Performance Schema帮助大家去分析排查问题，并且在5.7中增加了Sys Schema，将Performance Schema和information_schema的信息格式化后，供大家更方便的分析问题。

沃趣科技   罗小波导语1、先看mysqldump1.1. mysqldump备份过程解读1.2. mysqldump备份过程中的关键步骤      1.2.1. FLUSH TABLES和FLUSH TABLES WITH READ LOCK的区别      1.2.2. 修改隔离级别的作用      1.2.3. 使用WITH CONSISTENT SN

沃趣科技  罗小波1.2.3. 使用WITH CONSISTENT SNAPSHOT子句的作用START TRANSACTION语句使用WITH CONSISTENT SNAPSHOT子句时，会为事务启动一致性读(该子句仅适用于InnoDB)。其行为与执行START TRANSACTION语句之后+一个SELECT语句效果相同（会获取一个事务号，在read

沃趣科技  罗小波mysqldump有什么坑吗？想必大家都知道，mysqldump备份时可以使用--single-transaction + --master-data两个选项执行备份（老实讲，为图方便，本人之前很长一段时间，生产库也是使用mysqldudmp远程备份的），这样备份过程中既可以尽量不锁表，也可以获取到binlog pos位置，备份文件可以用于数据恢复，也可以

上周同事在客户现场遇到了由于统计信息的原因，导致应用数据迁移时间过慢，整个迁移差点失败。关键时刻同事发现测试环境与生产环境SQL语句执行计划不一致，立刻收集统计信息才保证迁移得以正常完成。 统计信息对于SQL的执行时间有重要的影响，统计信息的不准确会导致SQL的执行计划不准确，从而致使SQL执行时间变慢，Oracle DBA非常了解统计信息的收集规则，同样在MySQL中也有相关的参数去控制统计信息。

作为专职的DBA：我们一定一定要保持一种高度谨慎的态度，在数据库备份方案选型时，一定要根据自己的业务场景充分测试，校验，尽可能地把可能出现的深坑挖出来。除了寻找适合自己的，可行的备份方案之外，更应该做好备份校验（备份是否成功完成、备份文件是否损坏）、备份恢复演练（备份文件是否可以正常恢复数据），以备不时之需。对生产库的DDL操作、大事务、或者长时间锁表的操作，一定要避开备份时间，否则，你懂的……

前些天某客户反馈一个诡异的问题，一个MySQL实例一会可访问，一会不可访问，查看相关日志发现该实例反复执行高可用切换，在进行初略排查时，通过监控发现服务器故障时刻磁盘负载都较高，但是并没有完全用满。而在高可用切换之前，数据库中跑着一些insert…select语句和大量心跳检测语句，而心跳检测语句与业务表是独立的，且心跳检测语句只固定更新一行数据，怎么会被阻塞一堆心跳检测语句呢 ？经过了一番折腾总算把原因找到了，具体过程请看下文。

“你不是不够好，你只是过时了”这句话用到 IT 行业特别合适，每隔一段时间都会有新的技术出现, 让码农们应接不暇。借着回顾DBA工作中的几个时期，跟大家分享我们对下一代数据库运维架构的理解和目前正在做的工作。

我们平时测试MySQL时，大多数时候都是使用的sysbench、tpcc-mysql等基准测试工具，现在，你可以尝试着使用hammerdb来对MySQL做一做基准测试，虽然HammerDB测试工具大多数时候我们听到的都是用于Oracle测试。但却不失为一种选择。另外，前面提到过，HammerDB还支持olap场景的基准测试，大家有兴趣的可以试一试。

作者：沃趣科技联合创始人 熊中哲在基于 Kubernetes 和 Docker 构建的私有 RDS 中，普遍采用了计算存储分离架构。该架构优势明显， 但对于数据库类 Latency Sensitive 应用而言，IO 性能问题无法回避，下面分享一下我们针对 MySQL 做的优化以及优化后的收益。计算存储分离架构架构示意图如

不管是架构选型还是生活，大多数时候都是在做trade off，获了计算存储分离带来的好处, 也意味着要忍受它带来的一些棘手问题。本文尝试结合Kubernetes，Docker，MySQL和计算存储分离架构，分享我们遇到的诸多问题之一 “Split-Brain” 。2018年1月19号参加了阿里巴巴双十一数据库技术峰会，见到了好多老同事（各位研究员、资深专家），也了解到业界最新的数据库技术发展趋势：...

沃趣 QFusion 采用目前已经非常成熟且应用非常广泛的主从复制数据同步架构，在能保证高性能的前提下，结合商业的高性能、高可用的分布式存储QCFS实现了数据零丢失，同时沃趣科技从BIOS、硬件配置、文件系统、操作系统内核、MySQL配置参数等自底向上做了大量的整体优化，使得单位时间内的交易量进一步提升。说到MySQL，大家平时关注得最多的不外乎就是：写节点的性能上能达到多少tps/qps？为什么...

沃趣科技  熊中哲随着交流机会的增多（集中在金融行业，规模都在各自领域数一数二），发现大家对 Docker + Kubernetes 的接受程度超乎想象, 并极有兴趣将这套架构应用到 RDS 领域。数据库服务的需求可以简化为：实现数据零丢失的前提下，提供可接受的服务能力。因此存储架构的选型至关重要。到底是选择计算存储分离还是本地存储？本文就这个问题，从以下几点展开：回顾：计算存储分离, 本地存储优...

|  RC与RR隔离级别下MySQL不同的加锁解锁方式MySQL5.7.21数据准备root@localhost : pxs 05:26:27> show create table dots\G*************************** 1. row ***************************  Table: dotsCreate Table: CREATE TABL...

原文地址：https://mysqlserverteam.com/contention-aware-transaction-scheduling-arriving-in-innodb-to-boost-performance/ 译者  沈刚 |  事务调度目前大多数的数据库系统都是通过锁的方式来控制并发的情况。但是对于很多数据库厂商来说，都会有一个问题:当有多个事务同时需要获取同一把锁，那么哪个事...

|  导语在上一篇 《事件记录 | performance_schema全方位介绍"》中，我们详细介绍了performance_schema的事件记录表，恭喜大家在学习performance_schema的路上度过了两个最困难的时期。现在，相信大家已经比较清楚什么是事件了，但有时候我们不需要知道每时每刻产生的每一条事件记录信息， 例如：我们希望了解数据库运行以来一段时间的事件统计数据，这个时候就需...

| 导语在上一篇 《配置详解 | performance_schema全方位介绍》 中，我们详细介绍了performance_schema的配置表，坚持读完的是真爱，也恭喜大家翻过了一座火焰山。相信有不少人读完之后，已经迫不及待的想要跃跃欲试了，今天将带领大家一起踏上系列第三篇的征程(全系共7个篇章)，在这一期里，我们将为大家全面讲解performance_schema中事件原始记录表。下面，请跟...

|  导语最近在配合某同事做一项性能压测，发现相同数据量、相同数据库参数、相同sysbench压力、相同数据库版本和sysbench版本、相同服务器硬件环境下，我和同事的压测结果天差地别：一个小时压测结束后，我的压测结果中出现了高频率周期性阻塞(tps,qps为0)，而同事的压测结果中未出现阻塞(tps,qps从头到尾都比较稳定)。正常情况下，在环境完全相同时，不可能会出现如此巨大的性能差异。但这...