a82831154-CSDN博客

转载 redis的参数解释

include /path/to/local.conf当有公用配置时,可以采用独立出公共配置文件然后引入的方式达到公共配置unixsocket/tmp/redis.sock通过socket文件进行通信,比通过TCP模型通信效率更高,但是需要客户端和服务端都在同一个机器上timeout 0当连接空闲超过一定时间后,就会关闭此链接,0表示禁止关闭连接tcp-keep...

2018-09-19 13:44:00 328

转载 redis集群复制和故障转移

#### 一.集群的问题- 1.当某个主节点宕机后,对应的槽位没有节点承担,整个集群处于失败状态,不可用,怎么办- 2.如何判断某个主节点是否真正的岩机?- 3.如果从某个主节点的所有从节点中选举出一个合适的节点作为新的主节点?#### 二.集群复制- 1.复制原理与单节点的主从复制一样- 2.从节点也是运行在集群模式下,所以安装主节点的方式配置即可- 3.通过cluster mee...

2018-09-17 13:42:00 370

转载 codis原理及部署_01

一.codis介绍Codis是一个分布式Redis解决方案,对于上层的应用来说,连接到Codis Proxy和连接原生的RedisServer没有明显的区别,有部分命令不支持Codis底层会处理请求的转发,不停机的数据迁移等工作,所有后边的一切事情,对于前面的客户端来说是透明的,可以简单的认为后边连接的是一个内存无限大的Redis服务.Codis由四部分组成Cod...

2018-09-14 13:41:00 347

转载 redis 主从哨兵02

一.为什么要复制1.实现数据的多副本存储，从而可以实现服务的高可用2.提供更好的读性能，分担读请求二.复制技术的关键点及难点1.如何指定被复制对象2.增量还是全量，以及如何实现增量3.复制时不影响前端业务的操作4.网络被中断后如何处理5.如何防止发送出去的数据丢失，没有到达从服务器6.如何识别被复制的数据源发生变化，导致数据出错三.复制步骤graph LR...

2018-09-11 13:39:00 494

转载 redis 主从哨兵01

主从复制过程1.从服务器开始连接主服务器时，会向主服务器发送一个SYNC同步命令2.主服务器接收到命令后，执行BGSAVE，异步的将写命令保存到一个缓冲区里3.主服务器执行完BGSAVE之后，就.rdb文件（BOF的持久化文件）发送给从服务器，从服务器从该文件恢复数据到内存中4.主服务器还会以Redis命令协议的格式，将写命令缓冲区中积累的所有内容发送给从服务器，从服务器通过执...

2018-09-09 13:38:00 133

转载 redis持久化

1.配置aof，并且形成rewrite之前和之后的对比2.配置rdb，手动命令和后台触发，截图对比持久化之前和之后的数据文件的差异一.默认开启快照dump#save "" 不配置rdbsave 900 1 # 900秒1次修改save 300 10 # 300秒10次修改save 60 10000 ...

2018-09-07 13:37:00 75

转载 redis python操作

1.基于连接池方式实现对五个数据类型操作，每种数据类型2个操作2.基于spring-data-redis 基于jedis来实现对五种数据类型操作，每种数据类型实现两个操作，包括事务以上为基于java语言开发学员可以采用其它语言进行开发，要求如下：1.总结你选择的框架的优缺点2.五种数据类型基本操作，每种数据类型完成3个操作，额外增加事务的实现3.必须把测试执行成功的效果图截图...

2018-09-05 13:36:00 275

转载 redis cluster

1.集群信息redis密码：******序号 | ip | 端口 :---|:---|:--- 1 | 192.168.127.172 | 6379 2 | 192.168.127.173 | 6379 3 | 192.168.127.174 | 6379 4 | 192.168.127.175 | 6379 5 | 192.168.127.176 | 6379 6...

2018-09-03 13:35:00 119

转载 PG 慢日志分析工具pgbadger

失效地址https://github.com/dalibo/pgbadgerhttps://github.com/darold/pgbadgerhttps://blog.csdn.net/ctypyb2002/article/details/80733465下载地址：https://github.com/darold/pgbadger/releasesperl Ma...

2018-09-01 17:43:00 516

转载 PG primary 和 slave 互换

http://blog.sina.com.cn/s/blog_544a710b0101a122.htmlhttp://blog.51cto.com/heyiyi/1898506https://blog.csdn.net/fjgui/article/details/47421609https://blog.csdn.net/baiyinqiqi/article/details/47...

2018-08-26 17:42:00 332

转载流复制-pg_start_backup(带自定义表空间)

一.准备slave库archive_mode = on ---开启归档模式archive_command = 'test ! -f /mysqldata/pg/archive_active/%f && cp %p /mysqldata/pg/pgarch/%f' ---指定归档路径1.1.如果主库上有了自定义表空间，无法使用pg_basebackup[post...

2018-08-24 17:41:00 333

转载流复制-pg_basebackup (有自定义表空间)

一.组成部分1.walsender进程是用来发送WAL日志记录的2.walreceiver进程是用来接收WAL日志记录的3.startup进程是用来apply日志的二.主库配置1.授权账号，用于远程连接复制，类似mysql的复制账号CREATE ROLE replica login replication encrypted password 'replica';...

2018-08-22 17:41:00 395

转载流复制-pg_basebackup (没有自定义表空间)

一.组成部分1.walsender进程是用来发送WAL日志记录的2.walreceiver进程是用来接收WAL日志记录的3.startup进程是用来apply日志的二.主库配置1.授权账号，用于远程连接复制，类似mysql的复制账号CREATE ROLE replica login replication encrypted password 'replica';...

2018-08-21 17:40:00 217

转载 PG 更新统计信息

http://blog.chinaunix.net/uid-24774106-id-3802225.html一.vacuum的效果：1.1释放,再利用更新/删除的行所占据的磁盘空间.第一点的原因是PostgreSQL数据的插入,更新,删除操作并不是真正放到数据库空间.如果不定期释放空间的话,由于数据太多,查询速度会巨降.1.2更新POSTGRESQL查询计划中使用的统计数...

2018-08-20 17:39:00 1115

转载 PG修改参数方法

1.查看参数文件位置postgres=# show config_file; config_file ---------------------------------- /data/pgsql_data/postgresql.conf(1 row)postgres=# show hba_file; hba_f...

2018-08-12 17:38:00 941

转载 Postgres的索引01

一.PG 9.3有以下索引类型1.b-tree1.1支持前导模糊查询，如xxx%或者^'xxx'1.2忽略大小写字符前导模糊查询，如ILIKE 'XXX%'或者~*'^xxx'1.3支持常见的条件运算符< = <= = >= >2.hash仅支持=条件运算符3.gin支持多列值索引，例如数据类型，全文检索类型<@ 被包含 arra...

2018-08-10 17:36:00 162

转载 Postgres基础操作

2018-08-05 17:35:00 700

转载 PostgreSQL安装

一.yum安装1.安装yum源https://www.postgresql.org/download/linux/redhat/yum install https://download.postgresql.org/pub/repos/yum/10/redhat/rhel-7-x86_64/pgdg-centos10-10-2.noarch.rpmhttps://yum.p...

2018-08-03 17:33:00 199

转载 SQL拦截器

一.拦截SQL1.slow log2.general log3.mycat sql拦截器二.mycat sql拦截器1.配置server.xml# 1.5可用<system> <property name="sqlInterceptor">org.opencloudb.interceptor.impl.StatisticsSqlInt...

2018-08-02 17:32:00 411

转载 MyCat水平分库

一.什么是水平分库将一张表水平切分到多个库中1.1分片原则1.需要分片的表是少数的2.能不切分尽量不要切分3.日志表可以采取归档方式4.选择合适的切分规则和分片建，确保数据分片均匀，否则依然存在性能瓶颈5.尽量避免跨分片join操作，保证关联操作表在同一分片1.2分片后如何处理查询1.根据简单分片规则，对分片键进行路由到正确的后端物理数据库2.如果不是使...

2018-08-01 17:30:00 227

转载 MyCat垂直分库

一.什么是垂直分库将一类功能的表从一个实例切分到另一个实例，横向扩展实例，增加写负载目标：将1个实例的4类表拆分多4个实例中二.垂直切分步骤2.1收集分析业务模块间的关系，能分几个库2.2全量复制需要的数据到其他实例root@localhost 21:51: [imooc_db]> show tables;+-----------------------+...

2018-07-30 17:29:00 155

转载 MyCat基本知识

一.Mycat基本元素1.逻辑库，mycat中存在，对应用来说相当于mysql数据库，后端可能对应了多个物理数据库，逻辑库中不保存数据2.逻辑表，逻辑库中的表，对应用来说相当于mysql的数据表，后端可能对应多个物理数据库中的表，也不保存数据逻辑表分类1.分片表，进行了水平切分的表，具有相同表结构但存储在不同数据库中的表，所有分片表的集合才是一张完整的表2.非分片表，垂直...

2018-07-28 17:27:00 204

转载 utf8mb4复杂昵称问题

wechat_lingwl_channel_consumer nicknamewl_consumer nicknamealter table wl_channel_consumer modify column `nickname` varchar(150) CHARACTER SET 'utf8mb4' COLLATE 'utf8mb4_unicode_ci' DEFAULT ...

2018-07-26 17:18:00 140

转载 Power安装linux-BIG ENDIAN mysql编译安装

一.安装系统，不选择额外的软件mkvdev -vadapter vhost0 -vdev hdisk2 -dev db_mysql01_sysmkvdev -vadapter vhost0 -vdev hdisk3 -dev mysql01_data01mkvdev -vadapter vhost0 -fbo -dev cd0***************************...

2018-07-16 17:15:00 338

转载利用logrotate将mysql log截断

https://blog.pythian.com/mysql-log-rotation/1.授权用户CREATE USER 'log_rotate'@'localhost' IDENTIFIED BY '123456';GRANT RELOAD,SUPER ON *.* to 'log_rotate'@'localhost';FLUSH PRIVILEGES;2.配置登录信...

2018-07-16 14:46:00 118

转载 VIOS挂载ISO文件

6.VIOS挂载ISO文件1.给vhost建立虚拟设备mkvdev -vadapter vhostX -fbo -dev cdx2.建立存放ISO的资料库mkrep -sp rootvg -size 10G3.结束后会自动创建一个lvvmlIBRARY和一个fs/var/vio/vmlIBRARYMLibrary jfs2 20 ...

2018-06-29 11:19:00 709

转载 02 Redis数据结构基础

一.客户端命令行参数1.-x 从标准输入读取一个参数,等价于set k v[root@localhost etc]# echo -en 'v1'|redis-cli -a foobared -x set k1OK[root@localhost etc]# redis-cli -a foobared get k1"v1"2.-r 重复执行一个命令指定次数[root@l...

2018-06-15 11:37:00 266

转载 SAP Basis 客户端拷贝

一.版本、系统配置信息软件版本信息操作系统AIX 6.1SAPECC6.0 SAP_BASIS 7.00SP15kernel 720 600oracle11.2.0.2.0DB大小2T+SCC8 trans预估大小DB大小* 10%=200G硬件配置4*12C 200GMEM二.使用SCC8导出遇到错误2.1 lo...

2018-06-05 09:35:00 832

转载 01 redis基础

一.什么是redis1.开源分布式kv数据库2.C语言编写，单线程运行3.支持数据类型分别是key、string、list、set、hash、zset4.提供多种语言API，常见的c/java/php/python/node.js/perl/swift等5.高性能，并提供持久化机制6.支持一致性hash集群分布，支持主从复制高可用方案二.优点1.高性能，写8W/s，...

2018-06-03 22:56:00 68

转载 MySQL 间隙锁

一.根据案例二：不同索引加锁顺序的问题，模拟重现死锁（详细操作步骤）1.RR级别下，更新操作默认会加行级锁，行级锁会对索引加锁2.如果更新语句使用多个索引，行级锁会先锁定普通索引，再锁定聚簇索引3.如果两个SQL用到了不同的普通索引，或者一个用了，另外一个没用4.会导致这两个SQL加行级锁的顺序不一致，形成多个事物之间X锁的循环等待，形成死锁1.1表结构root@slav...

2018-05-22 23:31:00 115

转载 MySQL索引设计

一.一张2亿条记录的表，假设一条记录有200字节，查询一条记录使用索引和不使用索引的性能计算1.假设硬盘的IOPS为1002.索引长度为：10字节（4字节索引+6字节指针长度）3.每个页大小为16KB，一个页上可存储索引个数为16k*1024/(6+4)=1638.44.一个页可存储的数据大小为16k*1024/200=81，即81行数据5.找到页就可以找到数据6.需要页...

2018-05-10 23:55:00 136

转载 AIX 解除镜像再重建同步

扩展fs发现pv状态变成removed，用chpv -v -a hdisk即可，至于什么原因造成removed？一.解除vg mirrorunmirrorvg vgname hdiskx hdiskxx，后面跟被踢掉的hdiskroot@SNCPRD:/# lsvg -p p40datavgp40datavg:PV_NAME PV STATE ...

2018-05-07 13:39:00 1576

转载 MySQL核心参数优化

一.数据库服务器配置CPU：48C内存：128GDISK：3.2TSSD二.CPU的优化innodb_thread_concurrency=32表示SQL经过解析后，允许同时有32个线程去innodb引擎取数据，如果超过32个，则需要排队；值太大会产生热点数据，global锁争用严重，影响性能三.内存的优化query_cache_type=0query_ca...

2018-05-05 15:20:00 439

转载 zabbix监控redis多实例cpu mem-自动发现

1.自动发现实例端口脚本，用于zbx item prototypes#!/bin/bashREDIS_PORT=`ps aux |grep redis-server | grep -v 'grep'|awk -F'[:]' '{print $4}'`COUNT=`echo "$REDIS_PORT" | wc -l`INDEX=0echo '{"data":['echo "$...

2018-04-22 21:22:00 318

转载 iperf压测linux网卡带宽

1.安装yum install iperf --enablerepo=epel2.启动服务端iperf -s -i 13.启动客户端测试10分钟iperf -c 172.16.3.153 -i 1 -t 600-w窗口越小带宽越不能体现4.客户端显示Connecting to host 172.16.3.145, port 5201[ 4] local 172.1...

2018-04-20 21:18:00 640

转载 MySQL 5.7 基于GTID创建运行主库的从库-xtrabackup+mysqldump

一.GTID innobackupex备份实现主从同步1)master备份innobackupex --defaults-file=/etc/my.cnf --user=root --password=123456 --parallel=4 /backup2)拷贝到slave上，并prepare和copy backupinnobackupex --defaults-fil...

2018-04-18 22:17:00 430

转载 zabbix 自定义指标数据来源

1.cpu loadhttps://blog.csdn.net/scugxl/article/details/771994031)基本含义：运行队列长度，表示当前有多少个正在等待的进程和正在执行的进程个数总和2)单核CPU，为1代表100%CPU使用率，即CPU时间片都在计算3)多核CPU，为1代表其中一个CPU100%使用率，比如双核，使用率也就是50%4)一般而...

2018-04-15 23:09:00 7619

转载 zabbix 自动发现主机并关联模板

一.自动发现添加主机1.利用agent自动发现主机　　Configuration - Discovery -Create discovery rule　　2.将自动发现的主机关联模板　　Configuration - Action -Event source:Discovery - Create action　　3.查看发现主机结果　　Monito...

2018-04-12 23:53:00 512

转载取经四人组SQL

一.表结构与数据1.create table user1 (id int not null,user_name varchar(20) not null,over varchar(20) default null) comment '师徒四人表';2.create table user2 (id int not null,user_name varchar(20) not null...

2018-04-02 22:28:00 270

转载 Redis-主从

主从复制过程1.从服务器开始连接主服务器时，会向主服务器发送一个SYNC同步命令2.主服务器接收到命令后，执行BGSAVE，异步的将写命令保存到一个缓冲区里3.主服务器执行完BGSAVE之后，就.rdb文件（BOF的持久化文件）发送给从服务器，从服务器从该文件恢复数据到内存中4.主服务器还会以Redis命令协议的格式，将写命令缓冲区中积累的所有内容发送给从服务器，从服务器通过执...

2018-03-30 14:07:00 159

空空如也

空空如也