- 博客(61)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Debian10二进制安装MySQL5.7
下载mysql5.7二进制包略安装依赖apt install psmisc libaio1 libnuma1 libatomic1 libmecab2 libncurses5安装mysqluseradd -s /sbin/nologin -M mysqltar -zxf mysql-5.7.35-linux-glibc2.12-x86_64.tar.gz -C /usr/local/mv /usr/local/mysql-5.7.35-linux-glibc2...
2022-04-17 22:56:39
572
原创 PostgreSQL 慢查询获取
获取慢查询的方法方法一 ：开启慢查询日志方法二 ：使用pg_stat_statementes扩展(推荐)方法三 : 捕获当前连接中的查询开启慢查询日志postgresql.conflog_destination = 'csvlog' #日志基础设置logging_collector = on #日志基础设置(重启生效)...
2021-11-24 17:18:59
6125
1
原创 mysql表空间回收
回收方法 1. alter table tb_test engine=innodb; 2. optimize table tb_test； 3. gh-ost/pt-osc alter table tb_test engine=innodb 原理介绍MySQL5.6 开始采用 Inplace 方式重建表，Alter 期间，支持 DML 查询和更新操作，语句为 alter table t engine=innodb, ALGORITHM=inplace...
2021-10-27 16:54:57
1128
原创 Online DDL 和PT-OSC怎么选择
pt-osc无论是什么DDL SQL，都会新建新表来替换，不分DDL类型，但是执行期间允许DDL操作，而ONLINE DDL则分为了好几类DDL，有的DDL仅需修改元数据，有的DDL仅需在本身ibd文件上新建索引页，有的需要rebuild table，这三种类型执行期间支持DML操作，但是COPY TABLE 类型不支持DML操作。如果MySQL版本是5.6之前，不支持online ddl操作的，pt-online-schema-change是一个非常好的选择；如...
2021-09-07 15:12:36
256
原创 PMM 2.19安装
环境 ：centos7安装pmm-server安装dockeryum install docker修改docker镜像源cat /etc/docker/daemon.json{"registry-mirrors":["https://hub-mirror.c.163.com","https://docker.mirrors.ustc.edu.cn"]}启动dockersystemctl start docker下载pmm-server:2.19镜像docke...
2021-07-07 15:01:03
384
原创 MySQL Online DDL 常用情况说明
常用操作 MySQL5.7 MySQL8.0 重建 表 复制方式 并行DML 只修改原数据 返回时间 重建 表 复制方式 并行DML 只修改元数据 返回时间 添加字段 是 INPLACE 是 否 等待返回 否* INPLACE 是 否 立即返回 删除字段 是 INPLACE 是 否 ..
2021-06-24 11:23:10
140
原创 redis-shake安装使用
redis-shake是阿里开源的用于redis数据同步的工具，支持的迁移方式如下：恢复restore：将RDB文件恢复到目的redis数据库。备份dump：将源redis的全量数据通过RDB文件备份起来。解析decode：对RDB文件进行读取，并以json格式解析存储。同步sync：支持源redis和目的redis的数据同步，支持全量和增量数据的迁移，支持从云下到阿里云云上的同步，也支持云下到云下不同环境的同步，支持单节点、主从版、集群版之间的互相同步。
2021-06-23 09:54:39
2464
原创 Kafka参数配置
############################# Server Basics ##############################每一个broker在集群中的唯一表示，要求是正数，kafka及其根据id来识别broker机器。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况broker.id=1#produce可以推送消息到一个不存在的topic（即：发消息到一个不存在的topic,系统会帮你按默认参数自动帮你建立这个topic）
2021-06-21 18:56:11
837
原创 Sysbench 安装及基本使用
yuminstallmysql-devel automake libtool postgresql-develwgethttps://d28dx6y1hfq314.cloudfront.net/2210/4703/el/7/package_files/346175.rpm?t=1611649581_f0401ce0e702baf4a6aa32f1331b455513ebd3e5rpm -ivhsysbench-1.0.15-1.el7.centos.x86_64.rpmecho 3 &g...
2021-06-21 11:36:12
254
原创 Kafka介绍
消息队列消息队列——用于存放消息的组件程序员可以将消息放入到队列中，也可以从消息队列中获取消息很多时候消息队列不是一个永久性的存储，是作为临时存储存在的（设定一个期限：设置消息在MQ中保存10天）消息队列中间件：消息队列的组件，例如：Kafka、Active MQ、RabbitMQ、RocketMQ、ZeroMQKafka的应用场景异步处理可以将一些比较耗时的操作放在其他系统中，通过消息队列将需要进行处理的消息进行存储，其他系统可以消费消息队列中的数据比较常见的：发送短信验证码、发送邮件
2021-06-18 17:36:23
151
原创 logrotate使用方法
logrotate是个十分有用的工具，它可以自动对日志进行截断（或轮循）、压缩以及删除旧的日志文件。logrotate 在很多 Linux 发行版上都是默认安装的。系统会定时运行 logrotate，一般是每天一次。系统是这么实现按天执行的。crontab 会每天定时执行 /etc/cron.daily 目录下的脚本，而这个目录下有个文件叫 logrotate。在 centos 上脚本内容是这样的：/etc/cron.daily/logrotate使用示例#创建配置文件cat /etc.
2021-06-10 15:16:41
426
原创 MySQL MHA原理
MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。该软件由两部分组成：MHA Manager（管理节点）和MHA Node（数据节点）。MHA Manager可以单独部署在一台独立的机器上管理多个m
2021-06-09 15:40:37
655
原创 MySQL 异步复制，半同步复制，组复制区别
MySQL异步复制master事务的提交不需要经过slave的确认，slave是否接收到master的binlog，master并不关心。slave接收到master binlog后先写relay log，最后异步地去执行relay log中的sql应用到自身。由于master的提交不需要确保slave relay log是否被正确接受，当slave接受master binlog失败或者relay log应用失败，master无法感知。这种方法的缺点是及时slave已经失败了，但是master无法感
2021-06-09 14:53:23
708
原创 Redis内存碎片
什么是内存碎片内存碎片率：mem_fragmentation_ratiomem_fragmentation_ratio指数>1表明有内存碎片，越大表明越多，<1表明正在使用虚拟内存，虚拟内存其实就是硬盘，性能比内存低得多，这是应该增强机器的内存以提高性能。一般来说，mem_fragmentation_ratio的数值在1 ~ 1.5之间是比较健康的。大于1.5表示，系统分配的内存大于Redis实际使用的内存，Redis没有把这部分内存返还给系统，产生了很多内存碎片。在Redis 4
2021-05-12 11:16:33
941
原创 ClickHouse单机安装
环境说明：centos7.9clickhouse-20.8.7.15修改操作系统配置/etc/security/limits.conf* soft nofile 65535* hard nofile 65536* soft nproc 65535* hard nproc 65535/etc/selinux/configSELINUX=disabled下载安装wget https://mirrors.tuna.tsinghua.edu.cn/clickhouse/r...
2021-05-11 18:32:10
121
原创 Redis查看当前连接情况Client list
Redis Client List 命令用于返回所有连接到服务器的客户端信息和统计数据。redis 127.0.0.1:6379> CLIENT LIST返回值addr ： 客户端的地址和端口fd ： 套接字所使用的文件描述符age ： 以秒计算的已连接时长idle ： 以秒计算的空闲时长flags ： 客户端 flagdb ： 该客户端正在使用的数据库 IDsub ： 已订阅频道的数量psub ： 已订阅模式的数量multi ： 在事务中被执行的命令数量
2021-05-07 17:34:56
12841
原创 Mongodb常用简单操作
#切换数据库use mongodb;#同时创建数据库mongodb,和表temp_testdb.createCollection('temp_test');#创建唯一索引,哈希类型db.getCollection("temp_test").createIndex({ user_phone: "hashed"},{unique: true,background: true, sparse: true });#创建普通索引db.getCollection("temp_test").createIn
2021-04-20 10:46:42
208
原创 Mongodb ObjectId 时间范围查询
ObjectId组成：4字节：UNIX时间戳3字节：表示运行MongoDB的机器2字节：表示生成此_id的进程3字节：由一个随机数开始的计数器生成的值指定时间生成一个ObjectId：mongo > new_time = new ISODate('2021-01-01 00:00:00');mongo > new_objectid = Math.floor(new_time.getTime() / 1000).toString(16) + "00000...
2021-04-19 14:54:00
1510
原创 Centos7静默安装Oracle11g
root用户操作 oracle用户操作 环境 阿里云ECS Centos7.3 4C 8G 关闭防火墙 systemctl stop firewalld systemctl disable firewalld 禁用Selinux sed -i "s/SELINUX=enforcing/SELINUX=disabled/" /etc/selinux/config 添加swap (有可以不加) dd i...
2021-04-01 10:40:29
105
原创 快速压缩工具Zstd
zstd (Zstandard) 是由 Facebook 开源的快速无损压缩算法，主要应用于 zlib 级别的实时压缩场景，并且具有更好的压缩比。压缩速度快，压缩比率高5:1#安装(centos)yum install zstd#压缩单个文件,会生成一个以.zst结尾的新文件zstd file_name#压缩目录,会对目录中每个子文件进行压缩,为每个子文件生成.zstzstd -r dir_name#解压zstd -d file_name.zst...
2021-03-18 10:24:02
1497
原创 Mongodb4.0分片集群(Centos7)
环境centos7.4 mongodb-4.0.22配置说明 Shard config mongos 192.168.56.1 27017 27018 27019 192.168.56.2 27017 27018 192.168.56.3 27017 27018 192.168.56.4 27017 安装过程 Shard(27017) Co...
2021-01-15 17:52:53
127
原创 Xtrabackup2.4.8安装(centos7)
安装依赖yum install perl-DBI perl-DBD-MySQL perl-Time-HiRes perl-IO-Socket-SSL perl-TermReadKey.x86_64下载安装包wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.8/binary/tarball/percona-xtrabackup-2.4.8-Linux-x86_64.tar.gz解压安装tar -
2020-12-30 11:19:11
425
原创 FTP服务器简易配置
简易配置，建议内网使用，存放公共数据。yum -y install vsftpdmkdir -p /ftp/touch /ftp/test.shecho 'anon_root=/ftp/' >> /etc/vsftpd/vsftpd.conf #设置匿名访问目录systemctl start vsftpdwget ftp://192.168.56.113/test.sh...
2020-12-14 16:44:19
106
原创 Redis Cluster集群原理
redis cluster介绍redis cluster是Redis的分布式解决方案，在3.0版本推出后有效地解决了redis分布式方面的需求自动将数据进行分片，每个master上放一部分数据提供内置的高可用支持，部分master不可用时，还是可以继续工作的。高可用，因为每个master都有salve节点，那么如果mater挂掉，redis cluster这套机制，就会自动将某个slave切换成master在redis cluster 架构下，每个redis 要放开两个端口号，比如一个是 6
2020-12-14 15:07:37
99
原创 Mysql8.0多实例安装(二进制)Centos7.4
下载二制包wgethttps://cdn.mysql.com//Downloads/MySQL-8.0/mysql-8.0.22-linux-glibc2.12-x86_64.tar.xz安装依赖yum install libaio添加用户useradd -s /sbin/nologin -M mysql解压安装tar -xJf mysql-8.0.22-linux-glibc2.12-x86_64.tar.xz -C /usr/local/ln -s ...
2020-12-05 17:38:22
223
原创 Redis cluster模式(手动)搭建实操
实操过程 6379(Master) 6380(Master) 6381(Master) 6382(Slave) 6383(Slave) 6384(Slave) Centos7.4 redis 4.0.14 安装redis # yum install gcc gcc-c++ # useradd redis # echo "Redis123" |passwd --stdin redis # su -...
2020-11-24 11:57:53
168
原创 Mysql多列索引分析
版本：mysql5.7.17create table test_index (c1 tinyint(1) not null default 0,c2 tinyint(1) not null default 0,c3 tinyint(1) not null default 0,c4 tinyint(1) not null default 0,c5 tinyint(1) not null default 0,index c1234(c1,c2,c3,c4));索引数据分布
2020-11-23 13:42:24
103
原创 Mysql where条件中IS NULL 是否走索引？
环境：mysql5.6数据量：900W表结构：CREATE TABLE `platform_comment_info` ( `id` bigint(18) unsigned NOT NULL AUTO_INCREMENT COMMENT '数据库主键', `kid` bigint(18) unsigned NOT NULL COMMENT '业务主键唯一标识', `tenant_id` varchar(32) DEFAULT NULL COMMENT '租户标识', `c...
2020-11-20 18:01:29
7251
1
原创 MySQL Explain 执行计划解释说明
一、ID列id列数字越大越先执行，如果说数字一样大，那么就从上往下依次执行，id列为null的就表是这是一个结果集，不需要使用它来进行查询。二、select_type列simple：表示不需要union操作或者不包含子查询的简单select查询。有连接查询时，外层的查询为simple，且只有一个primary：一个需要union操作或者含有子查询的select，位于最外层的单位查询的select_type即为primary。且只有一个union：union连接的两个sel...
2020-11-20 17:56:40
197
原创 Mysql实现数据的简易加密解密
加密select hex(aes_encrypt("123456","key"));解密select aes_decrypt(unhex("BB96A7FC94AF2DC645F695A655CCE219"),"key");
2020-11-20 17:52:18
354
原创 Mysql 存储过程,触发器,函数,游标示例
示例##基本语法if 条件 then...elseif 条件 then ...else...end if ;while 条件 do...end while;##存储过程drop procedure if exists proc_temp_insert_data;DELIMITER ;;CREATE PROCEDURE proc_temp_insert_data(in number int) comment"临时插入数据"BEGIN declar.
2020-11-20 17:48:10
115
原创 Centos7安装python3.5
1.安装依赖yuminstall gcc openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel libffi-devel-y2.下载Python3.5wget https://www.python.org/ftp/python/3.5.5/Python-3.5.5.tgz3.解压安装包，配置编译mkdir python35mkdir /usr/local/pytho...
2020-11-20 17:12:28
330
原创 Redis sentinel(哨兵)集群原理
Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案，当用Redis做Master-slave的高可用方案时，假如master宕机了，Redis-Sentinel在发现master宕机后会进行自动切换主从关系。sentinel的作用集群监控：sentinel节点会定期检查redis状态，判断是否故障故障自动切换:在master发生故障时，实现slave晋升成master，并维护后续正确的主从关系提供配置:sentinel会将故障转移的结果通知给客户端，提供最新的ma
2020-11-20 15:28:16
317
原创 Redis4.0哨兵(sentinel)集群搭建实操
实操过程主从：192.168.1.119:6379(master)192.168.1.119:6380(slave)192.168.1.119:6381(slave)哨兵：192.168.1.119:26379192.168.1.119:26380192.168.1.119:26381 6379 6380 6381 26379 26380 26381 安装redis # yum install gcc gcc-c...
2020-11-19 14:19:45
415
原创 Python将excel数据生成SQL
经常会接到开发或运营需要将一些excel表的数据导入到数据库，所以就写了这个脚本使用条件：1.数据要在顶格开始2.第一行是列名(英文)3.最好每个单元格都有值，不要有空值脚本如下：import xlrd # pip3 install xlrd==1.2.0class ExcelToSql(): def __init__(self,file_name,sheet_name,table_name): self.file_name = file_name.
2020-11-18 16:11:09
1722
1
原创 Redis主从复制原理及注意事项
主从复制特点主从复制的作用实现主从复制方法replication工作原理(全量复制)replication工作原理(部分复制)复制中几个重要概念全量及部分复制发生的情况psync2主从复制常见问题主从复制特点主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(master)，后者称为从节点(slave),数据的复制是单向的，只能由主节点到从节点.具有以下特点：1.异步复制,从2.8版本开始的。2.允许单个master配置多
2020-11-18 14:30:57
335
原创 Mycat 分页查询过程及注意事项(坑点)
原始SQL:SELECT * FROM table_name WHERE type='xxx' ORDER BY create_time LIMIT 10000,1000;直接在mysql中执行：SELECT * FROM table_name WHERE type='xxx' ORDER BY create_time LIMIT 10000,1000;通过mycat执行：SELECT * FROM table_name WHERE type='xxx' ORDER BY create_time L
2020-11-17 18:06:43
3257
1
原创 Mysql运程备份(Xtrabackup)，并限制网络速度
实操过程 源数据库服务器（192.168.1.101） 备份服务器(192.168.1.102) 环境 centos 7.4 mysql5.7 centos 7.4 数据库实例 3306 / 安装备份工具 Xtrabackup / 安装网络限速工具 yum install pv #如果不做网络限速的话，可以不用安装 / ssh免密登陆 ssh-keygen #全部回...
2020-11-17 17:50:52
2022
5
原创 Mysql 限制无条件更新或删除数据(sql_safe_updates)
哎，总是会有些误操作或代码bug(特别是动态SQL)，会执行一些无条件(或无有效条件 where 1=1 )更新或删除操作,让人防不胜防，特别是在大表上发生这样的事故的时候，搞得人好心累。mysql有一个动态变量(sql_safe_updates)，可以有效避免(不能完成避免)这种情况的发生。下面将对此变量进行一些测试：mysql5.7# 进行测试数据准备mysql> drop table IF EXISTS test_safe;Query OK, 0 rows affecte.
2020-11-13 14:39:34
1769
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人