- 博客(238)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 MaoXian web clipper本地程序在macOS Catalina报错DisconnectErr:Native host has exited.
macOS Catalina报错DisconnectErr:Native host has exited.google了一下https://stackoverflow.com/questions/59543692/failed-to-connect-native-host-has-exitedI'm a bit late here, but I just ran into this too...
2020-03-11 18:24:53
1265
原创 Canal dynamicTopic问题续
Canal dynamicTopic问题续最近在新公司搭了一套canal. 按照<<dynamicTopic问题>>设置了canal.mq.topic和canal.mq.dynamicTopic意图将一些不符合dynamicTopic匹配的语句的消息发送到一个默认的topic而避免报错INVALID_TOPIC_EXCEPTION# table regexcanal...
2020-03-07 21:39:05
3673
原创 Canal dynamicTopic问题
Canal dynamicTopic问题未来同事跑了几个月的canal突然报下面的错, 使用了dynamicTopic. 其实我没有用过dynamicTopic, 只能搜一搜issue关于dynamicTopic和partitionHash的说明canal.mq.dynamicTopic 表达式说明canal 1.1.3版本之后, 支持配置格式：schema 或 schema.table...
2020-03-07 21:37:59
4600
原创 canal.mq.flatMessage参数
canal.mq.flatMessage是否为json格式如果设置为false,对应MQ收到的消息为protobuf格式需要通过CanalMessageDeserializer进行解码canal.mq.flatMessage = true 生产到kafka的消息就是json的, 否则就是protobuf二进制的$bin/kafka-console-consumer.sh --bootst...
2020-03-07 21:36:24
4189
1
翻译 ProxySQL备份策略
ProxySQL Series : ProxySQL Backup Startegies介绍我们深知ProxySQL是MySQL的领先SQL感知代理之一。 在本博客中，我将解释ProxySQL的备份和还原策略。 我认为，关于该主题的博客仍然结构不完善。如果您正在寻找我们的ProxySQL系列的其他文章：MySQL replication Read-Write Split upRepli...
2020-03-02 19:41:10
733
原创 0.58 MHA 基于GTID的恢复不会从原Master拉取差异日志且不再需要relay_log_purge=0!
MySQL MHA–故障切换模式(GTID模式和非GTID模式)MHA with binlog server这两篇文章结论就是MHA has changed failover procedure when turn on GTID.1.If you want to use binlog server you must open GTID (I don’t know why Yoshi d...
2020-03-01 21:52:35
751
原创 MHA 一个slave宕机的影响
文章目录环境说明运行前有节点宕机运行中有点节点宕机环境说明IP角色备注mha4mysql-nodemha4mysql-manager192.168.98.11master读写√192.168.98.10slave只读√192.168.98.12slave只读√192.168.98.13manager节点N/A√√...
2020-03-01 17:23:49
817
原创 master_ip_failover_script脚本何时被调用
文章目录master_ip_failover_script脚本调用启动masterha_manager时Failover时调用两次master_ip_failover_script脚本调用master_ip_failover_script脚本是failover时用的. 默认的示例脚本其实就一个main函数, 判断--command的值做操作, 就收三种:stop || stopsshst...
2020-03-01 17:22:32
615
原创 MHA向send_report传递的参数
文章目录何时被调用接收到的参数何时被调用failover最后调用接收到的参数这个比较好搞, 我们在配置文件中定义脚本report_script=/etc/masterha/scripts/send_report然后写一个shell脚本[root@localhost 21:19:04 /etc/masterha/scripts]#cat send_reportecho "1:$1...
2020-03-01 17:21:04
905
翻译 mloginfo文档翻译
文章目录mloginfoUsageGeneral ParametersHelpVersionVerbosityDefault InformationSectionsQueries (`--queries`)`--rounding``--sort`Restarts (`--restarts`)Distinct (`--distinct`)Connections (`--connections`)Re...
2020-02-25 23:27:20
575
翻译 mlanuch文档翻译
文章目录mlanuchUsageGeneral ParametersHelpVersionVerbosityData directoryCommandsinitUsageRequired ParametersReplica Set ParametersSharding ParametersAuthentication ParametersOptional ParameterskillUsageTa...
2020-01-21 18:16:06
294
原创 TiDB Syncer不同表名库名同步且支持pt-osc改表
TiDB Syncer不同表名库名同步且支持pt-osc改表mysql端库名叫sysbench, 表名sbtest11tidb端库名ptosc_sysbench,表名ptosc_sbtest11[[replicate-do-table]]db-name = "ptosc_sysbench"tbl-name = "ptosc_sbtest11"[[replicate-do-table...
2019-12-10 21:57:07
400
原创 Drainer不支持的DDL-1
Drainer不支持的DDL-1版本3.0.51.rename table t1 to b_db.b_t1已经做好TiDB->MySQL的同步, 开启了pump, drainer问题复现在TiDB创建fanboshi表root@10.152.x.150 17:53:27 [sysbench]> show tables;ERROR 2006 (HY000): MySQL ...
2019-12-10 21:53:10
652
原创 MGR参数之group_replication_ip_whitelist
MGR参数之group_replication_ip_whitelist尝试将10.133.1.46加入192.168.2.224的集群失败需要设置参数group_replication_ip_whitelist 此参数虽然是动态参数, 但是要使之生效需要节点重新加入集群To specify a whitelist manually, use the group_replication...
2019-12-10 17:48:21
1442
原创 TiDB Binlog部署
TiDB Binlog部署环境信息中控机是10.152.x.133[tidb_servers]10.152.x.1010.152.x.1110.152.x.12[tikv_servers]10.152.x.1010.152.x.1110.152.x.12[pd_servers]10.152.x.1010.152.x.1110.152.x.12## Monito...
2019-12-02 19:34:38
943
原创 ProxySQL平滑下线节点
ProxySQL平滑下线节点因为MGR多主DDL和DML不能并发在不同节点执行, 而我们又存在即通过KO又通过ProxySQL访问的数据库的情况, 为了避免在发生故障, 我们决定将ProxySQL中配置的集群真实ip删除, 改为使用KO的vip.本文介绍如何平滑下线ProxySQL节点, 从而做到对业务无感知.KO我司自研php中间件环境介绍10.133.x.59跑sysb...
2019-11-12 22:02:15
753
原创 如何自己制作机械键盘
如何自己制作机械键盘本文记录自己的初次"客制化"经历, 键圈大佬请略过, 错误之处请指正, 装逼犯自动忽视~材料准备轴体轴体这里就不做介绍了, 如果你也是萌新的话, 就先了解这四种轴吧:青轴茶轴红轴黑轴就我个人来说, 入坑第一把键盘是G80-3000, 后面也买过国产青轴和半价Filco(酷冷至尊), 也买过Filco奶酪绿. 16年双11在KDBFans入了阿米洛Va87...
2019-11-03 19:10:11
20847
2
原创 MySQL Error log监控
MySQL Error log监控告警日志监控其实比较简单了, 怎么做都行. 目前我们这里是使用下面的方法FileBeat采集日志 -> Kafka -> 自己写脚本消费出来 -> 企业微信机器人告警[外链图片转存失败(img-HYnGH6Bz-1563676664427)(https://raw.githubusercontent.com/Fanduzi/Fandb.gi...
2019-07-21 10:38:19
470
原创 记一次PMM容器被误删除的恢复
记一次PMM容器被误删除的恢复昨天PMM Data Container和PMM Server Container 都不小心被误删了, 还好是使用的docker rm container_id删的, 没有加-v. 本人docker渣渣, 后来找运维同时帮忙终于恢复了首先找到宿主机volumes路径[root@node1 volumes]# pwd/var/lib/docker/volumes...
2019-07-20 14:03:47
1492
原创 MySQL慢查询平台架构方案
MySQL慢查询平台架构方案方案1Filebeat读取slow log 到kafka , logstash从kafka消费后解析成出各个列, 然后写入MySQL, 但是这样的问题是查询语句是这样的select * from A where id=1. 而我们需要去除谓词的SQL, 也就是select * from A where id=? 这样的, 这样才好对SQL进行聚合分析于是用Ca...
2019-07-20 13:30:25
298
原创 记录一些有用的pt-query-digest filter
记录一些有用的pt-query-digest filter自己写了一些和整理了些filter, 百度是搜不到的哈, 除了最后那俩anemometer的不输出Database 为 mysql|performance_schema|information_schema|sys|db_monitor 的查询((\$event->{db} || '') =~ m/^(?!(mysql|perf...
2019-07-03 23:10:07
1185
1
原创 MySQL大表传输表空间的坑
MySQL大表传输表空间的坑最近刚帮业务线拆分完数据库, 源环境遗留了一张700G的大表, 虽说现在不用了, 但是业务方还是不希望删掉, 于是打算把这张表迁移到归档库, 这样有需要是还可以查询.700G的表想了想, 如果是逻辑导出再导入的话, 感觉会很慢. 于是决定使用传输表空间方式恢复到归档库中源库和归档库均为MGR集群 Multi-Primary Mode.恢复备份过程简单写, ...
2019-06-22 19:24:48
4467
原创 mysqldump限速防止网卡打满
限制备份速度防止资源饱和最近在做拆库, 于是就做了很多表迁移工作, 需要使用mysqldump远程备份数据, 然后发现备份时很容易就把源库网卡打满了. 想过用tc命令限速, 发现有点复杂. 今天无意间看xtrabackup文档发现一个方法Throttling the throughput to 10MB/sec. This requires the ‘pv’ tools; you can fi...
2019-06-12 03:53:24
2392
原创 分库分表的一些杂乱记录
文章目录如何平衡资源如何合理设置innodb_buffer_pool_size使用EXCEL整理信息拆分数据库感觉更多还是应该从业务上去拆分. 那么我们需要业务方协助, 由他们细化业务类别. 之后DBA要做的是如何合理分配资源如何平衡资源有时候一个数据库实例一拆就能拆除10几个业务. 那么可能对于10几个数据库实例. 如何部署这些实例呢, 如果只是单纯的10*3去部署高可用集群就需要占用30...
2019-05-15 09:19:49
211
原创 ProxySQL Error: Access denied for user问题处理
我们有一个监控脚本. 很简单类似如下import pymysqlimport timefor i in range(2000): conn=pymysql.connect(host='192.168.3.xxx',port=16042,user='user',password='pass',db='mysql',charset='utf8',connect_timeout=30) ...
2019-03-15 21:34:44
5132
原创 MGR周期性性能下降原因
MySQL Goup Replication周期性性能下降原因MySQL版本:5.7.22在我的压测中发现一个有意思的现象: 16-256的各个负载下qps波谷有重合当时觉得很不理解.想不明白原因, 从图上看, 这个性能衰减还是很严重的下面这篇文章也有体现https://cloud.tencent.com/developer/article/1054465后来搜到这个bug [Pe...
2019-03-14 10:20:50
977
翻译 oracle重新编译失效对象的几种方法
oracle重新编译失效对象的几种方法手工重编译查看失效对象COLUMN object_name FORMAT A30SELECT owner, object_type, object_name, statusFROM dba_objectsWHERE status = 'INVALID'ORDER BY owner, object_t...
2019-03-14 10:11:27
12545
原创 修改sysbench输出格式为csv或json, 添加自定义指标
修改sysbench输出格式为csv或json, 添加自定义指标在oltp_common.lua添加(二选一)-- 输出csv-- function sysbench.hooks.report_intermediate(stat)-- sysbench.report_csv(stat)-- end-- 输出json-- function sysbench.ho...
2019-03-12 17:56:16
770
原创 使confluent_kafka支持SASL_PLAINTEXT
文章目录安装confluent-kafka安装librdkafka替换库文件验证同事之前一直使用kafka-python开发. 上了ACL以后发现kafka-python居然不支持SASL_PLAINTEXThttps://kafka-python.readthedocs.io/en/master/apidoc/KafkaProducer.htmlsasl_mechanism (str) ...
2019-03-08 18:54:51
3824
1
原创 The Python ssl extension was not compiled. Missing the OpenSSL lib?
首先yum install openssl openssl-devel 确保版本大于等于1.0.2如果还不行[root@node024212 17:42:57 ~]#find / -name libssl.so.1.0.0 /root/mysql-8.0.13-linux-glibc2.12-x86_64/bin/libssl.so.1.0...
2019-03-04 17:46:47
4304
原创 假如Kafka集群中一个broker宕机无法恢复, 应该如何处理?
假如Kafka集群中一个broker宕机无法恢复, 应该如何处理?坐地铁时想到这个问题, 印象中书中说添加新的broker, 是不会自动同步旧数据的.笨办法环境介绍三个broker的集群, zk,kafka装在一起| broker | IP | broker.id ||---------|---------------|-----------|| broker1 | 172.18.1...
2019-02-22 13:38:00
8665
15
原创 ansible_role_canal_instance
需求:在一个服务器添加多个canal_instance.笨办法定义一个varha_group_name: mgr_dev1master_address: 172.18.12.211:3307journal_name:master_position:master_timestamp:master_gtid:tsdb_mysql_host: 172.18.12.211tsdb_my...
2019-02-22 13:37:25
127
原创 Kafka SASL/SCRAM+ACL实现动态创建用户及权限控制
文章目录SASL_SCRAM+ACL实现动态创建用户及权限控制使用SASL / SCRAM进行身份验证1. 创建SCRAM Credentials创建broker建通信用户(或称超级用户)创建客户端用户fanboshi查看SCRAM证书删除SCRAM证书2. 配置Kafka Brokers客户端配置kafka-console-producerkafka-console-consumerACL配置授...
2019-01-26 21:50:11
9558
6
原创 CRT日志配置
/Users/TiM/Documents/crt/%Y-%M-%D/%H/%S-%h:%m:%s.log[START][END][%Y-%M-%D %h:%m:%s]
2019-01-17 21:33:39
329
1
翻译 如何确定Single-Primary模式下的MGR主节点
如何确定Single-Primary模式下的MGR主节点(文档 ID 2214438.1)MySQL 5.7可以通过global status group_replication_primary_member确定mysql> SELECT VARIABLE_VALUE FROM performance_schema.global_status ...
2018-08-25 23:04:10
1238
原创 限制sql文件执行频率
对于pxc, 为了避免流控, 可以在导入.sql文件时, 先对文件做处理 awk '1;NR%1000==0{print "select sleep(1);"}' xxx.sql > xxx_dba.sql 上面的命令每1000行增加一行select sleep(1);, 这样执行频率是1k/s 对于mysqldump产生的sql文件, 则需要在导出时指定...
2018-08-20 22:38:59
384
原创 如何做好MySQL的备份
如何做好MySQL的备份物理备份还是逻辑备份?其实物理备份和逻辑备份并没有好坏之分, 关键是要适合你的场景. 两种备份方式的备份工具有:逻辑备份工具: [mysqldump, mysqlpump, mydumper, select into out file]物理备份工具: [xtrabackup, TokuBackup, Tokudb-xtrabackup]...
2018-04-28 00:05:50
2021
翻译 Percona server的Backup Locks
Backup LocksPercona Server在5.6.16-64.0中实现了这一功能，以作为用于物理和逻辑备份的FLUSH TABLES WITH READ LOCK的轻量级替代。现在有三个新的语句可供使用：LOCK TABLES FOR BACKUP, LOCKBINLOG FOR BACKUP and UNLOCK BINLOG. Flush Tables with rea...
2018-04-27 10:10:05
1345
原创 Load data奇怪的问题
本文永久连接: http://fuxkdb.com/2018/03/03/Load-data%E5%A5%87%E6%80%AA%E7%9A%84%E9%97%AE%E9%A2%98/ 盗转死妈Load data奇怪的问题公司一套所谓的BI库(5.5 innodb引擎),由于太大了,考虑转用TokuDB引擎,最近在测试,直接在一个新环境安装Percona5.7.21,然后恢复备份,转换...
2018-04-15 20:10:14
1034
原创 延迟关联优化SQL一例
昨日下午和今日凌晨出现较多告警 经排查发现时又下面SQL导致SELECT * FROM pre_forum_post ORDER BY pid ASC LIMIT 7332000,1000Limit愈来愈大,导致走全表扫描加文件排序root@localhost 10:23: [forum_longtugamev2_db]> explain SELECT * F...
2018-03-30 10:26:10
1070
5
MongoDB实战 Kyle Banker
2016-09-18
Oracle如何避免partial write
2017-01-05
TA创建的收藏夹 TA关注的收藏夹
TA关注的人