Zhi@Li-CSDN博客

原创 Redis Cluster集群管理手册

CLUSTER FORGET命令引发的节点移除消息并不会通过Gossip协议传播至集群中的其他节点，要让集群真正地移除一个节点，用户必须向集群中的所有节点都发送相同的CLUSTER FORGET命令，并且这一动作必须在60s之内完成，否则被暂时屏蔽的节点就会因为Gossip协议的作用而被重新添加到集群中。除了集群管理程序之外，Redis还提供了一簇以CLUSTER开头的集群命令，这些命令可以根据它们的作用分为集群管理命令和槽管理命令，前者管理的是集群及其节点，而后者管理的则是节点的槽分配情况。

2022-09-16 21:11:57 561 1

原创 Redis Sentinel集群管理手册

Redis从2.8.4版本开始为SENTINEL命令新添加了一组子命令，可以在线地修改Sentinel对于被监视主服务器的配置选项，并把修改之后的配置选项保存到配置文件中，整个过程不需要停止Sentinel，也不需要手动修改配置文件。redis-cli工具的–stat选项可以实时获取Redis的重要统计信息，尤其对一些增量的数据，如blocked、requests，这对于Redis的运维非常有帮助。由于monitor命令对Redis的CPU、内存、网络资源均有一定的占用，不建议运维使用。

2022-09-16 21:11:16 554

原创 Redis 数据迁移篇之move、dump、migrate、redis-rdb-tools和redis-dump工具使用手册

move命令用于在Redis内部进行数据迁移，Redis内部可以有多个数据库，彼此在数据上是相互隔离的，move key db就是把指定的键从源数据库移动到目标数据库中。migrate命令也是用于在Redis实例间进行数据迁移的，实际上migrate命令就是将dump、restore、del三个命令进行组合，从而简化了操作流程。Centos默认支持ruby到2.0.0，可gem 安装redis需要最低是2.3.0，解决办法是先安装rvm，再把ruby版本提升至2.3.0。

2022-09-16 21:10:25 496

原创 Redis 数据迁移篇之redis-shake工具使用手册

支持源redis和目的redis的数据同步，支持全量和增量数据的迁移，支持从云下到阿里云云上的同步，也支持云下到云下不同环境的同步，支持单节点、主从版、集群版之间的互相同步。redis-full-check对比的方向是单向：抓取源库A的数据，然后检测是否位于B中，反向不会检测，也就是说，它检测的是源库是否是目的库的子集。同步rump：支持源redis和目的redis的数据同步，仅支持全量的迁移。Redis-shake 是一个用于在两个 redis之间同步数据的工具，满足用户非常灵活的同步、迁移需求。

2022-09-16 21:06:54 929 1

原创 Redis 数据迁移篇之redis-migrate-tool工具使用手册

Redis-Migrate-Tool（都简称RMT），是唯品会开源的redis数据迁移工具，主要用于异构redis集群间的数据在线迁移，即数据迁移过程中源集群仍可以正常接受业务读写请求，无业务中断服务时间。2）twemproxy到twemproxy/cluster迁移。1）单个redis到twemproxy/cluster迁移。3）cluster到twmeproxy/cluster迁移。支持下面几种异构集群之间的数据迁移和同构集群扩容/缩容。

2022-09-16 21:04:13 543

原创 Redis 备份恢复（持久化）手册

为了解决上述问题，Redis向用户提供了持久化功能，这一功能可以把内存中存储的数据以文件形式存储到硬盘上。为了满足不同的持久化需求，Redis提供了RDB持久化、AOF持久化和RDB-AOF混合持久化等多种持久化方式以供用户选择。Redis与传统数据库的一个主要区别在于，Redis把所有数据都存储在内存中，而传统数据库通常只会把数据的索引存储在内存中，并将实际的数据存储在硬盘中。服务器在停机之后，只要重新执行AOF文件中保存的Redis命令，就可以将数据库恢复至停机之前的状态。

2022-09-16 20:58:58 363

原创 Redis 阻塞管理

对于开启Transparent HugePages的操作系统，每次写命令引起的复制内存页单位由4K变为2MB，放大了512倍，会拖慢写操作的执行时间，导致大量写操作慢查询。例如简单的info命令也会出现在慢查询中。连接溢出：这是指操作系统或者Redis客户端在连接时的问题，可能是操作系统的进程限制（即操作系统的最大文件数的限制，通过ulimit -n可以查看）、Redis的backlog队列溢出（如果Redis用于高并发场景为了防止缓慢连接占用，可适当增大这个设置，但必须大于操作系统允许值才能生效）。

2022-09-16 20:57:39 238

原创 Redis 内存管理

当used_memory_rss >> used_memory时，较大的差异可能意味着存在(外部)内存碎片，可以通过检查allocator_frag_ratio、allocator_frag_bytes来评估。以下版本可以选择重启Redis服务器释放内存碎片，重启Redis服务器可以让额外产生的内存碎片失效并重新作为新内存来使用，使操作系统恢复高效的内存管理。说明Redis消耗了实际需要物理内存的150%以上，其中50%是内存碎片率，可能是操作系统或Redis实例中内存管理变差的表现。

2022-09-16 20:57:02 411

原创 Redis hot key管理

其核心就是在每次对key进行读写访问时，更新LFU的24 bits域代表的访问时间和counter，这样每个key就可以获得正确的LFU值。在某个Key接收到的访问次数、显著高于其它Key时，可以将其称之为热Key，即hot key。同bigkey一样，hot key也会带来一系列问题，如拖慢Redis性能、造成Redis集群节点间负载不均衡、大量请求造成Redis缓存击穿等。热key分析是对于主节点的分析，在进行分析时，客户访问性能会略有影响（不高于10%）。

2022-09-16 20:55:28 495

原创 Redis bigkey管理

Redis本身提供发现大对象的工具，redis-cli采用–bigkeys选项来查找最大的键和每种类型的键的平均大小。起提供了UNLINK命令，该命令能够以非阻塞的方式缓慢逐步的清理传入的Key，通过UNLINK，可以安全的删除大Key甚至特大Key。当删除 String 类型的 key，时间复杂度是 O(1) ，建议不要存储过大的数据，否则在删除时也会有性能问题。命令直接删除单个集合类型的KEY，因为其命令的时间复杂度是O(M)，其中M是集合类型Key包含的元素个数。

2022-09-16 20:54:56 294

原创 Redis slowlog管理手册

slowlog-log-slower-than就是那个预设阀值，它的单位是微秒（1秒=1000毫秒=1000000微秒），默认值是10000，假如执行了一条“很慢”的命令（例如keys\），如果它的执行时间超过了10000微秒，那么它将被记录在慢查询日志中。由于慢查询日志是一个先进先出的队列，也就是说如果慢查询比较多的情况下，可能会丢失部分慢查询命令，为了防止这种情况发生，可以定期执行slow get命令将慢查询日志持久化到其他存储中（例如MySQL），然后可以制作可视化界面进行查询。

2022-09-15 21:55:38 114

原创 Redis 连接管理手册

可通过CLIENT KILL addr:port命令或CLIENT KILL ADDR ip:port命令kill单个会话，addr:port或ip:port匹配client list中的addr指标的值。由于 Redis 的单线程特性，无法在执行命令时终止客户端连接。从客户端的角度来看，连接永远不会在执行命令的过程中关闭。但是，只有在发送下一条命令时，客户端才会注意到连接已关闭（并导致网络错误）。

2022-09-15 21:51:26 153

原创 Redis 权限管理手册

某些规则只是单个单词，用于激活或删除标志，或对用户 ACL 执行给定的更改。其他规则是与命令或类别名称或键模式等连接的字符前缀。通过一个个的指定命令设置用户ACL比较繁琐，这里可以通过命令类别进行实现，ACL类别对于创建一次包含或排除大量命令的ACL规则非常有用，而无需指定每个命令。off：禁用用户，不允许使用此用户进行身份验证，但是已经过身份验证的连接仍然有效。，无论默认用户配置如何，则新连接将不通过身份验证启动，并且将要求用户发送带有 AUTH 选项的。on：启用用户，允许使用该用户进行身份验证。

2022-09-15 21:50:27 449

原创 Redis 用户管理手册

以下是有效 ACL 规则的列表。ACL SETUSER会创建具有指定ACL规则的用户或修改现有用户的ACL规则。如果用户名不存在，则该命令创建没有任何权限的用户名，然后从左到右读取所有规则，将用户ACL规则设置为指定的规则；为保障与旧版本的Redis的兼容，Redis 6有一个默认配置，默认配置会对默认用户的新连接进行身份验证，即每个新连接都能够调用所有命令并访问每个键，因此ACL功能向后兼容旧版本客户端和应用程序。off：禁用用户，不允许使用此用户进行身份验证，但是已经过身份验证的连接仍然有效。

2022-09-15 21:49:37 1179

原创 Redis 实例启停和连接手册

Redis 6.0以后的版本若未启用ACL（Access Control List访问控制列表），可采用如上的常规方式登录（缺省采用default用户登录，可向低版本兼容认证）。 Redis数据库安装完毕后，通过下面命令来进行启动或者关闭，日常工作中务必按照正常的方法启动关闭redis数据库，避免出现异常报错。

2022-09-15 21:48:47 205

原创 Redis Twemproxy 集群规范部署手册

从 ubuntu 6.10 开始，ubuntu 就将先前默认的bash shell 更换成了dash shell；其表现为 /bin/sh 链接倒了/bin/dash而不是传统的/bin/bash。需执行dpkg-reconfigure dash，选择NO，即将默认的shell改回bash。: net.ipv4.tcp_tw_reuse设置为1表示开启重用，允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭。

2022-09-15 21:45:15 345

原创 Redis Codis 集群规范部署手册

客户端连接Redis代理服务，处理客户端请求，codis-proxy本身实现了Redis协议，因此客户端访问Codis Proxy跟访问原生的Redis没什么区别。

2022-09-15 21:43:56 546

原创 Redis Cluster 集群规范部署手册

若是Ubuntu系统，则通过此种方式部署ruby环境，安装ruby：apt-get update apt-get install ruby-full -y 安装rubygem redis依赖：gem install redis。: 若是Redis 5.x及以上版本，可采用redis-cli工具部署，因为Redis 5.x及以上版本彻底抛弃了ruby，将集群管理功能集成到了redis-cli工具中，创建语法同redis-trib。通过redis-trib检查集群状态。

2022-09-15 21:42:26 104

原创 Redis Sentinel集群规范部署手册

若搭建Redis Cluster，需要额外添加参数cluster-enabled yes、cluster-require-full-coverage no、cluster-config-file nodes-2001.conf等。: net.ipv4.tcp_tw_reuse设置为1表示开启重用，允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭。获取监视同一主服务器的其他所有Sentinel的相关信息。

2022-09-15 21:41:19 102

原创 Redis 规范部署手册

若搭建Redis Cluster，需要额外添加参数cluster-enabled yes、cluster-require-full-coverage no、cluster-config-file nodes-6379.conf等。: net.ipv4.tcp_tw_reuse设置为1表示开启重用，允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭。: 若Redis版本为Redis 5.x及以上版本时，可不需要安装ruby。编辑profile配置文件。

2022-09-15 21:39:31 261

原创 Elasticsearch 6.x S3备份恢复手册

恢复仓库中指定备份快照中的指定索引，并为恢复的索引重命名。这在不替换现有数据的前提下，恢复老数据来验证内容，或者做其他处理，这个选项很有用。取消一个正在恢复的索引，可以通过删除正在恢复的索引。因为恢复进程其实就是在执行分片恢复，发送一个删除索引请求，就可以停止恢复进程。如果restored_index_1正在恢复中，这个删除命令会停止恢复，同时删除所有已经恢复到集群里的数据。若使用讯飞云对象存储，可到讯飞云官网进行申请。

2022-06-09 21:39:52 429

原创 Elasticsearch 冷热数据分离

Elasticsearch 冷热数据分离

2022-06-09 21:38:50 920

原创 Elasticsearch 慢日志管理手册

Index慢日志，功能类似于Search慢日志。分片级的慢日志允许将慢速Search（包括query阶段和fetch阶段）记录到专用日志文件中，因此可全面了解query阶段和fetch阶段所花费的时间，并能够检查整个Search本身。但通常，对我们去修复一个慢日志，并不需要完全理解相当高级的Lucene知识，只要可以看到查询的某个特定组件速度很慢就足够了，而不必理解为什么这个查询的高级阶段是导致速度很慢的原因。当日志存在大量的慢日志，需要排查集群资源及负载情况，获取瓶颈项进行及时处理，以保证集群的稳定性。

2022-06-09 21:37:42 174

原创 Elasticsearch 慢日志管理手册

2022-06-09 21:37:08 542

原创 Elasticsearch Indexes管理手册

*强制合并可能会导致生成非常大（>5GB）的段，如果您继续写入这样的Indexes，那么自动合并策略将永远不会考虑这些段以进行未来的合并，直到它们主要由已删除的文档组成。如果您在Indexes某些文档后调用Flush API，则成功的响应表明 Elasticsearch 已刷新在调用Flush API 之前Indexes的所有文档。在打开或关闭Indexes时，master 负责重新启动Indexes分片以反映Indexes的新状态。然后使用删除Indexes API 删除之前的写入Indexes。

2022-06-09 21:36:38 98

原创 Elasticsearch Tasks管理手册

节点热线程 API 会生成集群中每个选定节点上的热线程的细分。输出是纯文本，其中包含每个节点的热门线程的细分。Tasks管理 API 返回有关当前在集群中的一个或多个节点上执行的Tasks的信息。但是，如果用户启动的Tasks（例如 create index 命令）导致集群状态更新，则此Tasks的活动可能会同时由Tasks API 和待处理的集群Tasks API 报告。返回尚未执行的任何集群级别更改（例如创建索引、更新映射、分配或失败分片）的列表。

2022-06-09 21:35:36 1042

原创 Elasticsearch 启停数据库手册

【代码】Elasticsearch 启停数据库手册。

2022-06-09 21:34:28 258

原创 MySQL 物理备份还原手册

【代码】MySQL 物理备份还原手册。

2022-03-06 00:15:21 106

原创 MySQL 集群管理之GTID管理手册

在MySQL 5.7.6及以后的版本，可以在主从复制环境中不停库在线开启或关闭GTID，更早的版本只能通过设置gtid_mode等参数后重启的方式。在MySQL 5.7.6及以后的版本，可以在主从复制环境中不停库在线开启或关闭GTID，更早的版本只能通过设置gtid_mode等参数后重启的方式。1）拓扑中的所有服务器都必须使用MySQL 5.7.6或更高版本。2）所有数据库都将gtid_mode设置为ON/OFF。

2022-03-06 00:10:42 196

原创 MySQL 逻辑备份还原手册

【代码】MySQL 逻辑备份还原手册。

2022-03-06 00:05:02 146

原创 MySQL 性能优化手册

MySQL包含很多内存参数，包含共享内存和会话独享内存等，其中会话独享内存全部使用默认值，非特殊需要，不建议设置，如果程序需要，在会话层显式调整。

2022-03-06 00:01:14 256

原创 MySQL 索引管理手册

【代码】MySQL 索引管理手册。

2022-03-05 23:50:57 152

原创 MySQL 校验主从库数据和修复主从库数据手册

同步mysql服务器之间的数据。这个工具会改变数据，为了最大程度的安全，需要在使用之前备份你的数据，如果同步一个复制的slave服务器使用–replicate或者–sync-to=master方法，通常是通过改变master，而不是直接改变slave，这是通常最安全的方法来完成主从的一致性。改变slave是解决问题的根源，但是通过改变master的数据，不会对master产生影响，实际上只会影响slave。

2022-03-05 23:48:41 385

原创 MySQL 集群管理之更改复制过滤器手册

如下示例为忽略information_schema、performance_schema和test库的同步。

2022-03-05 23:31:22 144

原创 MongoDB 性能监控手册

在启动mongostat时带上 --discover选项，你可以将它指向单个节点，它会发现副本集或分片集群中的剩余节点，随后聚合显示整个集群的统计信息。它会间隔固定时间获取mongodb的当前运行状态并输出。复合键索引用法同单键索引类似，但针对每个查询，只能高效适用于单个范围或排序，它的范围匹配会精确匹配任意一组最左键（包含空），随后对其右边紧邻的键进行范围查询或者排序。查询首次运行时，优化器会为每个可能有效适用于该查询的索引创建查询计划，随后并行运行各个计划，nscanned 值最低的计划胜出。

2021-06-24 22:22:55 258

原创 MongoDB 备份恢复详细手册

在一些mongodb版本之间，BSON格式可能会随版本不同而有所不同，所以不同版本之间用mongodump/mongorestore可能不会成功，具体要看版本之间的兼容性。Mongodb中的mongoexport工具可以把一个collection导出成JSON格式或CSV格式的文件，可以通过参数指定导出的数据项，也可以根据指定的条件导出数据。备份副本集需指定–oplog选项，这会将转储过程中服务器进行的所有操作数据下来，在恢复备份时会重新执行这些操作，以得到源服务器上某一时间点的数据快照。

2021-06-24 22:20:45 598

原创 MongoDB 慢日志管理手册

pt-mongodb-query-digest通过聚合来自 MongoDB 查询分析器的查询来报告查询使用统计信息，但pt-mongodb-query-digest无法从需要通过 SSL 连接的 MongoDB 实例收集统计信息。剖析结果会保存在一个特殊的名为system.profile的固定集合里，固定集合的大小是确定的，数据会像环一样写入其中，一旦集合达到最大尺寸，新文档会覆盖最早的文档。剖析功能默认是关闭的，需要先打开。其余方法参考： pt-mongodb-query-digest --help。

2021-06-24 22:18:03 438