MySQL学习笔记
文章平均质量分 64
MySQL学习笔记
雨花石~
努力、奋斗
展开
-
MySQL-含json字段表和与不含json字段表查询性能对比
其中20200729json_test 标准ID、MANAGER_NO、PHONE_NO 为非json字段。EP_USER_PICTURE_INFO_2:不含json字段表。2个表中MANAGER_NO、PHONE_NO都创建了各自的索引。20200729json_test:含有json字段表。含json字段表和与不含json字段表查询性能对比。2、带条件查询(不包含json字段)3、含有json字段查询对比。4、只包含json字段查询。data为json字段。给非json表加索引。原创 2023-12-05 11:03:32 · 784 阅读 · 0 评论 -
vue中使用DataV做大屏展示
之前写过监控平台下面介绍一下,dataV在监控平台上的使用,直接上效果图:原创 2022-11-01 17:36:20 · 1153 阅读 · 0 评论 -
MySQL自动化巡检报告-v1.0
作为dba,有时候我们会遇到大量的巡检工作,之前我们都是手动去给客户做巡检,那么面对如此重要但是很繁琐的工作,如何才能提高我们的巡检效率,或者换句话说有什么工具可以自动完成巡检工作 并且生成漂亮的巡检文档呢,基于以上因素,自己尝试使用go自己写一套mysql自动巡检报告,于是在利用自己闲暇时间,终于完成了一般巡检报告,这里我暂时称作mysql自动巡检v1.0版本,使用的语言是go语言其中使用gohtml、gocharts等工具,具体的就简原创 2022-10-31 15:51:05 · 875 阅读 · 2 评论 -
(tidb)将kafka数据落库
tidb可以通过drainer 抽取数据同步到kafka,那么有的时候我们需要对kafka 中的数据进行落库操作,这时候需要怎么处理?我们想到的就是通过消费kf 然后把数据往数据库里插入,那有更加方便的方法吗,这里就介绍tidb 提供的。数据就会同步到对应的数据库中去,这里要注意的地方是 数据库和表要提前创建好,不然会提示报错。编辑arbiter.toml。工具来实现上述的功能。填上对应的信息即可。原创 2022-10-19 16:41:10 · 587 阅读 · 0 评论 -
pt-archiver 遇到特殊字符 --表情包报错(LOAD DATA LOCAL INFILE)
在使用pt-archiver工具对mysql 表进行归档操作的时候,有时候会遇到特殊表情,比如emoji表情等情况,这时候如何去处理。原创 2022-10-17 10:31:49 · 1165 阅读 · 1 评论 -
SQL Parse:对SQL文件进行指纹输出
golang mysql 慢日志解析工具_雨丶花丶石的博客-CSDN博客之前做了一个mysql slowlog的解析工具,那么有时候需要将慢查询进行入库,然后进行分析、或者制作报表、趋势图等;原创 2022-10-11 11:19:41 · 1325 阅读 · 1 评论 -
golang mysql 慢日志解析工具
我们知道mysql慢日志解析工具有很多种,比如我们常用的mysqldumpslow、pt-query-digest等,这些都是比较有效的解析工具,今天介绍的是基于go写的一款实时解析日志工具以上就是使用golang 实现mysql 慢查日志解析的工具,当然后面可以把慢查日志落入表里,实现慢查日志中心库,这个功能后面继续实现。原创 2022-09-20 11:15:17 · 729 阅读 · 0 评论 -
flask +python+vue 监控软件(三)
https://blog.csdn.net/shiyu1157758655/article/details/103577107在之前的监控基础上,又新加了主机监控,并且优化了agent采集器,目前agent 可以自动发现所在主机的mysql 和oracle实例信息,并且自动加入到监控列表中。下面详细说一下主机模块:模块说明该模块可以对主机列表、监控阈值、告警通知进行管理配置主机列表该模块可以查看相应的主机信息,包括监控性能图。如下图所示:说明:主机信息包括:主机名、运原创 2021-08-03 10:01:01 · 1408 阅读 · 4 评论 -
ogg 异步同步,mysql to oracle
log-bin=/var/lib/mysql/logs/log# binlog index pathlog-bin-index=/var/lib/mysql/logs/binlog.index今天遇到一个朋友需要做一个mysql到oralce 的ogg同步测试,正好利用他的环境测试了一下myql到oracle表的数据同步。下面给出测试的环境mysql:5.7.25 oracle:11.2.0.4ogg版本这里我选择了19C ogg,下载连接如下:https://www.orac...原创 2021-07-26 15:32:35 · 1664 阅读 · 3 评论 -
mysql5.6.34 升级到mysql5.7.32
直接上步骤:1.首先在mysql5.6.34 那台主机上使用下面的,命令进行备份innobackupex --host=127.0.0.1 --user=root --password=xxx --slave-info --kill-long-queries-timeout=100 /opt/2020-11-112.将备份传送到mysql5.7.32那台机器上3.在mysql5.7.32 进入到备份文件夹里面,执行下面的命令进行恢复innobackupex --apply-log ....原创 2020-11-19 15:35:16 · 800 阅读 · 0 评论 -
mysql 跨机器查询,使用dblink
有的时候业务场景需要使用跨机器跨库查询,这时候就想到了mysql有没有类似oracle 的dblink的功能,答案当然是肯定了,下面就简单介绍在mysql 下如何使用dblink,首先目标库需要支撑FEDERATED安装federated插件:mysql>install plugin federated soname ‘ha_federated.so’;ERROR 1125 (HY000): Function ‘federated’ already exists说明已经安装过了原创 2020-09-22 14:06:25 · 1360 阅读 · 0 评论 -
Golang 数据可视化利器 go-echarts ,实际使用
今天就来聊聊go里面如何绘制echarts图,需求:使用go来生成自动化巡检报告,数据库的性能采集也是通过go来实现的,这里就不多说,那如何能够直观的展示监控数据呢,当然前面我有写过flask +python+vue 的监控系统:https://blog.csdn.net/shiyu1157758655/article/details/103278459今天我要做的是,不通过监控系统,直接把想要的数据展示出来,生成html文件,这里主要就是介绍golang 中go-echarts 如何使用 ,闲话.原创 2020-08-12 10:08:00 · 8370 阅读 · 9 评论 -
rsync 拉取备份文件(支持断点续传)
关于rsync的介绍网上有很多,这里直接说一下如何使用rsync本次使用rsync的是将备份文件拉取一份到异地机房,只保留一份1.首先安装rsyncyum install rsync2.配置rsyncd.conf(如果没有自行创建)[root@005---1 ~]# cat /etc/rsyncd.confuid = rootgid = rootuse chroot = yesstrict modes = falsepid file = /var/run/rsyncd.pidlo原创 2020-07-02 16:59:33 · 821 阅读 · 0 评论 -
MySQL8.0与MySQL5.7 OLTP 性能测试对比
MySQL8.0出来已经有很长时间了,目前最新版本是MySQL8.0.20 ,那么MySQL8.0到底比MySQL5.7 性能有多大的提升呢,今天就做了一组压力测试来实际测试一下。为了使结果更具有说服性,测试环境是完全一样,具体测试结果如下:测试内容测试mysql5.7和mysql8.0 分别在读写、只读、只写模式((oltp_read_write,oltp_read_only,oltp_write_only))下不同并发时的性能(tps,qps)测试环境测试使用版本分别为mysql8.0.2原创 2020-06-01 10:04:20 · 2979 阅读 · 0 评论 -
使用kettle 增量同步mysql到oracle以及oracle到mysql的测试
先看一下具体的操作步骤,先上图:原创 2020-04-22 17:05:38 · 862 阅读 · 1 评论 -
flask +python+vue 监控软件(二)
https://blog.csdn.net/shiyu1157758655/article/details/103278459接着之前的监控,这次又添加了mysql的监控模块,直接上图接下来写redis的监控模块原创 2019-12-17 11:20:15 · 1473 阅读 · 0 评论 -
flask +python+vue 监控软件(一)
在此之前写过一个简单的监控软件,https://blog.csdn.net/shiyu1157758655/article/details/80907874最近又在原来的基础上,又完善了该监控软件,使用flask+vue这种架构,完成了部分功能,多的不说,直接上图1.登录界面2.配置菜单 3.用户管理模块4.Oracle监控模块...原创 2019-11-27 16:50:44 · 5636 阅读 · 11 评论 -
my.cnf 自动生成脚本
利用python 写了一个自动生成my.cnf 的脚本,写的很简单,运行结果如下:(yuhuashi) [root@yuhuashi opt]# python auto_mycnf.py MySQL安装文件路径:/opt/mysql MySQL数据文件路径:/database/mysqlMySQL监听端口:3306日志保留天数:7脚本代码如下:#/usr/bin/py...原创 2019-10-29 08:42:24 · 873 阅读 · 0 评论 -
Mysql-MHA高可用实验测试-主从复制搭建
Mysql-MHA高可用实验测试-主从复制搭建环境信息:OS:Centos6.8192.168.180.55 monistor //mha-manager管理端192.168.180.56 master //现有主库192.168.180.57 slave1 //即将做双主的数据库192.168.180.58 slave2 //从库1.安装mysq原创 2017-04-18 15:03:12 · 570 阅读 · 0 评论 -
Mysql MHA 搭建报错:thhere are 2 non-slave servers! MHA manages at most one non-slave server
问题描述:在搭建好mysql mha 后,测试mysql 的自动切换,切换之后检查报如下错误Wed Apr 19 16:14:17 2017 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.Wed Apr 19 16:14:17 2017 - [info] Readi原创 2017-04-19 16:34:43 · 3954 阅读 · 1 评论 -
Mysql MHA搭建以及故障切换测试
测试环境信息:OS:Centos6.8192.168.180.55 manager192.168.180.56 master192.168.180.57 slave1192.168.180.58 slave21.架构从架构上来说,MHA分为如下两大部分:(1) Node我们知道,MHA是基于MySQL Replication环境的,在该环境中,不管是原创 2017-04-19 16:19:30 · 3220 阅读 · 0 评论 -
Mysql+KeepAlived 主从搭建测试(互为主从)
MySQL高可用性之Keepalived+MySQL(双主热备) mysql主从复制 mysql主从双向复制 mysql高可用性MySQL 5.7 主从数据库搭建一、目的:解决Master单点问题,两台mysql互为主备,双向replication。当一master挂了,则将slave切换为master,继续工作。主机A:192.168.1.8主机B:192.168.1.9二、互为主从配置1.安装具体安装过程请参考:http://blog.csdn.net/shiyu115775原创 2017-11-30 09:34:59 · 2300 阅读 · 2 评论 -
Mysql5.7.15 Linux 安装教程
1上传安装包并解压到指定位置santiago@slave2:~$ df -h 先查看磁盘使用情况santiago@slave2:~$ sudo tar -zxf mysql-5.7.15-linux-glibc2.5-x86_64.tar.gz -C /usr/local 重命名santiago@slave2: /usr/l转载 2017-04-18 11:08:30 · 875 阅读 · 0 评论 -
Mysql误操作后使用binlog2sql快速回滚
Mysql误操作后使用binlog2sql快速回滚一、binlog2sql安装从mysql binlog解析出你要的sql。根据不同选项,你可以得到原始sql、回滚sql、去除主键的insert sql等。1.1、用途数据快速回滚(闪回)主从切换后数据不一致的修复从binlog生成标准SQL,带来的衍生功能1.2、安装[root@foidndb ~]# cd /usr/local/[root...原创 2018-07-09 17:29:07 · 1153 阅读 · 0 评论 -
mysql在指定的一个字段后面添加一个字段
详细参考:https://www.yuhuashi.info/post/114.html原创 2018-07-03 09:48:36 · 6796 阅读 · 0 评论 -
python监控系统(flask+python+html)
最新改进版本:https://blog.csdn.net/shiyu1157758655/article/details/103278459我们知道zabbix是一款什么强大的监控系统,基本上你想要监控的都可以实现,于是就想自己写一款类似zabbix的监控小软件,也是一遍学习一遍摸索,最终完成了一部分的监控项目,具体的如下截图:...原创 2018-07-04 09:55:05 · 9160 阅读 · 2 评论 -
mysql:pt-online-schema-change 在线修改表
pt-online-schema-change名字:pt-online-schema-change - ALTER tables without locking them. 在线改表下载地址:https://www.percona.com/downloads/percona-toolkit/3.0.12/binary/redhat/6/x86_64/percona-toolkit-3.0....原创 2018-12-06 15:09:51 · 4180 阅读 · 3 评论 -
Docker mysql8.0 oltp 性能测试
DOCKCER MySQL.0.13 OLTP性能测试 测试环境 主机IP 操作系统 内存 文件系统 数据库版本 Docker版本 10.64...原创 2019-01-23 19:59:37 · 1632 阅读 · 0 评论 -
Dockerfile构造 mysql8.0
之前做过Docker 下mysql8.0 与本地mysql8.0的性能测试,测试结果可以参考:https://blog.csdn.net/shiyu1157758655/article/details/86616675现在就把docker下利用Dockerfile来搭建mysql的脚本奉上:Dockerfile文件内容:FROM centos:7.4.1708#authorM...原创 2019-01-29 15:10:57 · 3526 阅读 · 2 评论 -
mysql 主从同步配置
Mysql數據主從同步配置:主數據庫上操作:1.用vi etc/my.cnf打开文件,对文件进行修改,在[mysqld]下面进行添加修改: Server-id= 1 #这是数据库ID,此ID是唯一的,主库默认为1,其他从库以此ID进行递增,ID值不能重复,否则会同步出错;log-bin = mysql-bin 二进制日志文件,此项为必填项,否则不能同步数据;binlo原创 2017-02-08 14:39:49 · 498 阅读 · 0 评论