- 博客(28)
- 收藏
- 关注
RSS订阅原创 Centos7 dockers下载镜像报错: Get https://registry-1.docker.io/v2/: net/http: request canceled
场景介绍项目组最近在安装docker并使用的过程遇到了如下报错Get https://registry-1.docker.io/v2/: net/http: request canceled原因分析尝试ping registry-1.docker.io 不通确定为网络问题，决定换源操作流程解决方案： 创建daemon.json文件vim /etc/docker/d...
2020-04-30 19:31:24
578
原创 PHP代码自动检测（git/svn集成PHP_CodeSniffer）
背景在公司开发的时候，每次不管svn还是git提交代码的时候都会对代码进行简单的自动检测。检查不了代码逻辑，但是最起码能保证整体的编码格式保持一致。实践部分PHP_CodeSniffer的安装 参考资料pear install PHP_CodeSniffer我直接使用了pear方式安装，简单方便很多。使用pear安装的扩展库基本上默认在php的安装目录下，比如我的：/...
2020-04-29 14:38:13
821
原创 mysql source导入慢
MySQL 导入慢的解决方法MySQL导出的SQL语句在导入时有可能会非常非常慢，在导出时合理使用几个参数，可以大大加快导 入的速度。导入注意点：说明：mysql> -umysql用户名 -pmysql密码 要导入到的数据库名<要导入MYSQL的SQL文件路径这样导入将会非常快，之前数小时才能导入的sql现在几十秒就可以完成了。假设要讲A数据库的数据导入到...
2020-04-27 17:39:39
452
转载 MySQL 优化
1.1 前言MySQL对于很多Linux从业者而言，是一个非常棘手的问题，多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行MySQL的优化之前必须要了解的就是MySQL的查询过程，很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行而已。今天给大家体验MySQL的优化实战，助你高薪之路顺畅。图 - MySQL查询过程1.2 优化的...
2020-04-27 16:09:28
110
转载 MySQL性能管理及架构设计（三）：SQL查询优化、分库分表 - 完结篇
一、SQL查询优化（重要）1.1 获取有性能问题SQL的三种方式通过用户反馈获取存在性能问题的SQL； 通过慢查日志获取存在性能问题的SQL； 实时获取存在性能问题的SQL；1.1.2 慢查日志分析工具相关配置参数：slow_query_log # 启动停止记录慢查日志，慢查询日志默认是没有开启的可以在配置文件中开启(on)slow_query_log_file # 指定...
2020-04-27 15:27:42
153
转载 MySQL性能管理及架构设计（二）：数据库结构优化、高可用架构设计、数据库索引优化
一、数据库结构优化（非常重要）1.1 数据库结构优化目的1、减少数据冗余：（数据冗余是指在数据库中存在相同的数据，或者某些数据可以由其他数据计算得到），注意，尽量减少不代表完全避免数据冗余；2、尽量避免数据维护中出现更新，插入和删除异常：总结：要避免异常，需要对数据库结构进行范式化设计。3、节约数据存储空间。...
2020-04-27 15:19:12
220
转载 MySQL性能管理及架构设计（一）：什么影响了数据库查询速度、什么影响了MySQL性能
一、什么影响了数据库查询速度1.1 影响数据库查询速度的四个因素1.2 风险分析QPS：Queries Per Second意思是“每秒查询率”，是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。TPS：是TransactionsPerSecond的缩写，也就是事务数/秒。它是软件测试结果的测量单位。客户机在发送请求时开始...
2020-04-27 15:15:27
334
原创 Mysql 规范（并发量大）
一、基础规范表存储引擎必须使用InnoDB 表字符集默认使用utf8，必要时候使用utf8mb4 解读: (1) 通用，无乱码风险，汉字3字节，英文1字节 (2) utf8mb4是utf8的超集，有存储4字节例如表情符号时，使用它 禁止使用存储过程，视图，触发器，Event 解读: (1) 对数据库性能影响较大，互联网业务，能让站点层和服务层干的事情，不要交到数据库层 (2) 调试...
2020-04-27 14:53:13
1498
原创 MySQL批量更新数据总结
快速插入1亿条数据的方法# 新建库create database bigData;use bigData;#1 建表deptCREATE TABLE dept(id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,deptno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0,dname VARCHAR...
2020-04-27 11:01:13
432
转载 MYSQL在线修改大表
互联网业务都面临着无法停机，需要在线变更数据库结构的情况。但是在线修改数据量较大的表，可能对线上业务产生较大影响，比如：在线修改大表的表结构执行时间往往不可预估，一般时间较长。 由于修改表结构是表级锁，因此在修改表结构时，影响表写入操作。 如果长时间的修改表结构，中途修改失败，由于修改表结构是一个事务，因此失败后会还原表结构，在这个过程中表都是锁着不可写入。 修改大表结构容易导致数据库 ...
2020-04-24 17:05:22
881
原创 哪些SQL执行比较频繁
研发经常会问到能看到哪些SQL执行比较频繁吗？ 熟悉mysql的朋友应该都知道,error日志只记录数据库层的报错,binlog只记录增/删/改的记录,但是没记录谁执行,只记录执行用户名,slowlog虽然详细,但是只记录超过设定值的慢查询sql信息.只有general-log才是记录所有的操作日志,不过他会耗费数据库5%-10%的性能,所以一般没什么特别需要,大多数情况是不开的,...
2020-04-24 14:41:09
1360
转载 DBA的五款优秀SQL查询优化工具
一般来说，SQL查询优化器分析给定查询的许多选项，预估每个选项的成本，最后选择成本最低的选项。如果查询优化器选择了错误的计划，则性能差异可能从几毫秒到几分钟。幸运的是，现在有许多第三方SQL查询优化工具可以自动优化每个SQL查询。这些工具极大地简化了开发人员和数据库管理员的工作，因为他们提供了正确的查询调优建议和索引建议。现在我们已经知道了SQL查询优化器的重要性，以下推荐几款不错的工具。1....
2020-04-23 17:01:40
1235
原创 truncate 时发生 system lock
system lock线程是被mysql_lock_tables()函数调用，该线程未更新过状态。这种现象很普遍，造成的原因有多种：可能一个线程想请求或者正在等一个表的内部或者外部的system lock； 如：从库复制sql_thread，在小事务较多时，会在加system lock的情况下对数据进行查找和修改。show full processlist;如果是大事务，虽然也...
2020-04-23 14:12:02
1226
原创 MySQL百万级数据压力测试
先模拟数据：DROP DATABASE IF EXISTS TEST;create database TEST charset utf8;use oldboy;CREATE TABLE t_100w (id INT,num INT,k1 CHAR(2),k2 CHAR(4),dt TIMESTAMP);DELIMITER //CREATE PROCEDURE rand_data(...
2020-04-23 11:09:38
583
原创 mysql8设置表名大小写不敏感（lower_case_table_names=1）
mysql8更改Mysql 表的大小转换设置lower_case_table_names=1试过设成0和2都没问题，就是无法设置成1.查看MySQL官方文档，有记录：lower_case_table_names can only be configured when initializing the server. Changing the lower_case_table_n...
2020-04-17 14:07:40
22138
转载 MySQL监控系统Lepus的搭建
现在流行的监控系统很多，选择一个合适自己的就可以了，例如Zabbix、Nagios；监控MySQL为主的有MySQLMTOP、Lepus。本文主要介绍快速部署lepus以及监控MySQL，因为作为DBA我们还是注重MySQL的监控，当然系统状态也非常重要，监控成为我们日常工作不可缺少，废话就不多说了，下面开始环境搭建。官方网站：http://www.lepus.cc/page/produc...
2020-04-15 11:55:43
377
原创 Docker部署Lepus及MySQL
一.centos7部署docker1 通过 uname -r 命令查看你当前的内核版本uname -r2 确保 yum 包更新到最新。yum update3 卸载旧版本yum remove docker docker-common docker-selinux docker-engine4 安装需要的软件包， yum-util 提供yum-config-manager...
2020-04-15 11:04:12
921
原创 Golden Gate - 概念和机制
Oracle Golden Gate - 概念和机制 (ogg)Golden Gate（简称OGG）提供异构环境下交易数据的实时捕捉、变换、投递。OGG支持的异构环境有：GoldenGate能够支持多种拓扑结构，包括一对一，一对多，多对一，层叠和双向复制等等。GoldenGate基本架构OGG的特性：对生产系统影响小：实时读取交易日志，以低资源占用实现...
2020-04-13 13:42:38
5645
原创 慢查询分析show profile 调优工具
show profile。也是 MySQL 服务自带的分析调优工具，不过这款更高级，比较接近底层硬件参数的调优。慢查询分析调优工具～show profile查看 show profile 设置show variables like 'profiling%';//默认关闭，保存近15次的运行结果慢查询分析调优工具～show profile开启set profili...
2020-04-13 11:24:06
308
原创 rsync方式的文件备份
rsync 是一个快速增量文件传输工具，它可以用于在同一主机备份内部的备分，我们还可以把它作为不同主机网络备份工具之用。本文主要讲述的是如何自架rsync服 务器，以实现文件传输、备份和镜像。相对tar和wget来说，rsync 也有其自身的优点，比如速度快、安全、高效； rsync同步模式: sync在进行同步或备份时，使用远程shell，或TCP连接远程daemon，有两种途经连接远程...
2020-04-13 11:05:04
277
原创 阿里云获取所有实例信息 API 使用
阿里云获取所有实例信息 API 使用使用前需安装依赖的sdk模块，可以在阿里云后台查询相关API使用方式：示例代码:#! /usr/bin/env python# -*- coding: utf-8 -*-# __author__ = "shuke"# Date: 2017/9/26import json, yamltry: from aliyunsdkcore...
2020-04-13 10:55:08
1542
原创 修改Docker默认的网段
背景需要在AWS服务器上部署他的秘密武器，秘密武器通过Docker来部署；在部署前可以通过跳板机的内外网ssh登录上这台服务器；部署后只能通过外网ssh登录这台服务器当时的解决办法我把这个容器停掉删除，重新用docker-compose重启启动了一个，就重新分配了一个新的网段，就不冲突了。根本解决办法在启动容器之前就把整个docker的网络改为与我们自己的网段不冲突的，这...
2020-04-10 19:11:23
2909
原创 MySQL MTOP的搭建
MySQLMTOP是一个由Python+PHP开发的MySQL企业级监控系统。系统由Python实现多进程数据采集和告警，PHP实现WEB展示和管理。最重要是MySQL服务器无需安装任何Agent，只需在监控WEB界面配置相关数据库信息，功能非常强大：可对上百台MySQL数据库的状态、连接数、QTS、TPS、数据库流量、复制、性能等进行时时监控能在数据库偏离设定的正常运行阀值(如连接异常，...
2020-04-10 18:59:18
1488
1
原创 MySQL8.0之XtraBackup 增量恢复
Percona XtraBackup的工作原理：1.XtraBackup复制InnoDB数据文件，这会导致内部不一致的数据，但是它会对文件执行崩溃恢复，以使其再次成为一个一致的可用数据库2.这样做的可行性是因为InnoDB维护一个REDO日志，也称为事务日志。REDO日志包含了InnoDB数据每次更改的记录。当InnoDB启动时，REDO日志会检查数据文件和事务日志，并执行两个步骤。它将已...
2020-04-07 13:56:51
3615
原创 mysqldump数据库自动备份到另一台服务器的数据库中
两台服务器，一台正式服务器A，一台测试服务器B，现需要将正式服务器A中的数据库每天备份到测试服务器B。1.从正式服务器A中导出需要备份的数据库使用mysqldump指令导出数据库文件/usr/sbin/mysqldump -u root -ppassword database | gzip > bakdatabaseName.sql.gzpassword为数据库密码，data...
2020-04-07 11:20:35
2454
原创 MySQL Tune
MySQL Tuner是一个Perl脚本，它连接到正在运行的MySQL实例，并根据工作负载提供配置建议。理想情况下，MySQL实例应该在运行脚本之前至少运行24小时。实例运行的时间越长，MySQL Tuner给出的建议就越好。github网址如下：https://github.com/major/MySQLTuner-perl代码提交还是比较活跃的，目前有4.3k个star由于这个...
2020-04-03 17:23:21
299
原创 MySQL5.7在主从复制GTID增强、半同步复制增强
背景：MySQL5.7在主从复制上面相对之前版本多了一些新特性，包括多源复制、基于组提交的并行复制、在线修改Replication Filter、GTID增强、半同步复制增强等。因为都是和复制相关，所以本文将针对这些新特性放一起进行说明。1，多源复制（多主一从）MySQL在5.7之后才支持多源复制原理：多源复制加入了一个叫做Channel的概念， 每一个Channel都是一个独立的...
2020-04-02 14:40:18
560
原创 mysql从库设置为只读
直奔主题，mysql设置为只读后，无法增删改。设置命令：mysql> set global read_only=1; #1是只读，0是读写mysql> show global variables like '%read_only%';以下是相关说明： 1、对于数据库读写状态，主要靠 “read_only”全局参数来设定； 2、默认情...
2020-04-02 13:49:07
3370
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人