mysql 普通日志和错误日志 记录了服务器接收到的每一个查询或是命令,无论这些查询或是命令是否正确甚至是否包含语法错误,general log 都会将其记录下来 ,记录的格式为 {Time ,Id ,Command,Argument }。也正因为mysql服务器需要不断地记录日志,开启General log会产生不小的系统开销。因此,Mysql默认是把General log关闭的。...
MySql主要性能指标说明 在项目当中数据库一般都会成为主要的性能与负载瓶颈,那么针对数据库各项性能指标的监控与对应的优化是开发与运维人员需要面对的主要工作,而且这部分的工作会贯穿项目从开发到运行的整个周期里。这篇文章中我们对MySql数据库中的几个主要的性能指标的计算与统计进行下说明与总结。...
python脚本批量生成grafana中dashboard的panel 因为监控的图标比较多,手动页面上一点点操作太浪费时间了,通过对其分析,用Python写了个脚本可快速生成。生成后直接导入即可,如下。
pg_rman的安装与使用《postgresql》 pg_rman是一款专门为postgresql设计的在线备份恢复的工具。其支持在线和基于时间点备份方式,还可以通过创建backupcatalog来维护DBcluster备份信息。
pgbench基准测试《postgresql》 pgbench是一种在PostgreSQL上运行基准测试的简单程序。它可能在并发的数据库会话中一遍一遍地运行相同序列的SQL命令,并且计算平均事务率(每秒的事务数)。默认情况下,pgbench会测试一种基于TPC-B但是要更宽松的场景,其中在每个事务中涉及五个SELECT、UPDATE以及INSERT命令。但是,通过编写自己的事务脚本文件很容易用来测试其他情况。...
springcloud集成sentinel 《微服务》 sentinel本身支持qps(qps每秒可以进来的请求数,只是进来,不管是否进来之后服务走完。Sentinel控制台修改规则仅存在于服务的内存中,不会修改Nacos中配置值,重启后恢复原来的值Nacos控制台修改规则Nacos持久化规则,服务的内存也同步更新。sentinel本身支持有qps,远程调用不会创建线程池,如果qps大,后面的服务处理不过来,所以就要进行限流降级处理;hystrix远程调用会创建线程池,并且该线程池是依赖tomcat的,不会比tomcat线程多,即使多了也没意义。...
mysql8.0 mha实现高可用《mha》 设置manager的日志文件。设置manager的工作目录。设置master保存binlog的位置,以便MHA可以找到master的日志,这里的也就是mysql的数据目录。设置自动failover时候的切换脚本。设置手动切换时候的切换脚本。password设置mysql中root用户的密码。设置监控主库,发送ping包的时间间隔,默认是3秒,尝试三次没有回应的时候自动进行railover。设置远端mysql在发生切换时binlog的保存位置。设置复制用户的密码。repl_user。...
postgresql:在Docker中运行PostgreSQL + pgAdmin 4 pgAdmin是一个强大的postgresql的图形化管理工具,既可以本地运行也可以以web应用的方式运行。pgAdmin4是一款为PostgreSQL设计的可靠和全面的数据库设计和管理软件,它允许您连接到特定的数据库,创建表和运行各种从简单到复杂的SQL语句。它支持的操作系统包括Linux,Windows,MacOSX。这里使用的pgAdmin4是安装PostgreSQL数据库时自带的,在安装包解压后的目录可以看到客户端工具pgAdmin4。...
MySQL管理工具---Percona Toolkit pt-summary打印出来的信息包括:CPU、内存、硬盘、网卡等信息,还包括文件系统、磁盘调度和队列大小、LVM、RAID、网络链接信息、netstat 的统计,以及前10的负载占用信息和vmstat信息。pt-diskstats是一个对GUN/LINUX的交互式监控工具。为GUN/LINUX打印磁盘io统计信息,和iostat有点像,但是这个工具是交互式并且比iostat更详细。可以分析从远程机器收集的数据。4、慢查询日志分析统计5、表同步工具和mk-tables-sync功能一样, 用法上 稍
MySQL主从异常Coordinator stopped because there were error(s) in the worker(s). The most recent failur gtid方式主从数据不一致,同步数据时报错。解决办法可以看到具体的出错信息
MySQL主从复制什么原因会造成不一致,如何预防及解决? 导致主从不一致的原因主要有: 1、人为原因导致从库与主库数据不一致(从库写入)。 2、主从复制过程中,主库异常宕机。 3、设置了ignore/do/rewrite等replication等规则。 4、binlog非row格式。 5、异步复制本身不保证,半同步存在提交读的问题,增强半同步起来比较完美。 但对于异常重启(Replication Crash Safe),从库写数据(GTID)的防范,还需要策略来保证。 6、从库中断很久,binlog应用不连续,监控并
iostat命令安装及详解 《性能监控工具》 iostatlinux系统出现了性能问题,一般我们可以通过top、iostat、free、vmstat等命令 来查看初步定位问题。其中iostat可以给我们提供丰富的IO状态数据。iostat 由 Red Hat Enterprise Linux AS 发布。同时 iostat 也是 Sysstat 的一部分。所以我们安装要安装sysstat。iostat命令被用于监视系统输入输出设备和CPU的使用情况。它的特点是汇报磁盘活动统计情况,同时也会汇报出CPU使用情况。同vmstat一样,iostat也有一个
arping命令 《openstack 网络》 arping命令作用是使用arp数据包,通过ping命令检查来测试网络。arping命令能够测试一个ip地址是否是在网络上已经被使用,并能够获取更多设备信息。功能类似于ping。