Redis

Redis

提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加
例如：第一章 Python 机器学习入门之pandas的使用

---

提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档

 

文章目录

• 系列文章目录
• 前言
• 一、redis介绍
• 二、简单使用步骤
• 三、redis五大数据类型
• 四、常用操作命令
• 五、解析配置文件
• 六、redis 持久化：rdb,aof
• 七、优缺点对比:
• 八、redis事务
• 九、redis的发布订阅
• 十、redis的主从复制 master/slave
•  
• 总结

 

---

前言

提示：这里可以添加本文要记录的大概内容：
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、Redis是什么？

1. redis （c）key/value分布式内存数据库，基于内存运行，并支持持久化的NoSql数据库。
2. 特点

1）,redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载使用

2）,不仅支持简单的key-value类型的数据，还提供list.set,zset,hash等数据结构的存储

3）,Redis支持数据的备份，即master-slave模式的数据备份

 

二、使用步骤

1. 下载redis-3.0.4.tar.gz解压tar -zxvf redis-3.0.4.tar.gz
2. 
3. 启动redis :redis-server /myredis/redis.conf

连接redis-cli -p 6379

(注：>,=均是换行的标志)

>ping=PONG

>set k1 hello=get k1

Ps -ef|grep redis

Exit shutdown

单进程：单进程模型来处理客户端的请求。对读写等事件的响应是通过对epoll函数的包装来做到的。Redis的实际处理速度完全依赖主进程的执行效率。Epoll是linux内核为处理大批量文件描述符而作了改进的epoll,是linux下多路复用IO接口select/poll的增强版本，他能显著提高程序在大量并发连接中只要少数活跃的情况下的系统cpu利用率。

默认16个数据库，类似数组下表从0开始，吃屎默认使用零号库

Select命令切换数据库

Dbsize查看当前数据库的key的数量

Flushdb：清空当前库

Flushall:通杀全部库

统一密码管理，16个库都是同样密码，要么都ok呀么一个也连接不上

Redis索引都是从0开始

Key* 把当前所有key罗列出来

三、redis五大数据类型

1. String（字符串）：string类型，一个key对应一个value,string类型是二进制安全的。意思是redis的string可以包含任何数据。比如jpg图片或者序列化的对象。一个redis中字符串value最多可以是512M
2. Hash(哈希，类似java的map)：hash是一个键值对集合。是一个string类型的field和value的映射表，hash特别适合存储对象，类似java 的map<string,object>
3. List(列表):是一种简单的字符串列表，按照插入顺序，可以添加一个元素导列表的头部（左边）或者尾部（右边）。他实际上是个链表。
4. Set(集合)：set是string的无序集合。他是通过hashtable实现实现的。
5. Zset(sorted set:有序集合)：和set一样也是string类型元素的集合，且不允许重复的成员。不同的是每个元素都会关联一个double类型的分数。Redis正是通过分数为集合中的成员进行从小到大的排序。Zset的成员是唯一的，但分数（score）缺可以重复。

四、常用操作命令

1. redis Key:key *

        Exists key的名字，判断某个key是否存在

        Move key db  -->当前库就没有了，被移除了

        Expire key 秒钟：为给定的key设置过期时间

        Ttl key 查看还有多少秒过期，-1表示永不过期，-2表示已过期

        Type key查看你的key是什么类型

2. redis 字符串

        set/get/get/append/strlen

        Incr/decr/incrby/decrby,一定要是数字才能加减

        Getrange/setrange

         Setex(set with expire)键秒值/setnx(set if not exist)

        Mset/mget/msetnx

        Getset(先get再set)

3. redis list列表

        Lpush/rpush/lrange

        Lpop/rpop

        Lindex，按照索引下标获得元素（从上到下）

        Llen

        Lrem key 删n个value

        Ltrim key 开始index结束index,截取指定范围的值后再副职给key

        rpoplpush源列表 目的列表

        Lset key index value

        Linsert key before/after 值1/值2

4. redis set集合

        Sadd/smembers/sismember

        Scard,获取集合里面的元素个数

        Srem key value 删除集合中元素

        Srandmember key 某个整数（随机出几个数）

        Spop key 随机出栈

        Smove key1 key2在key1里某个值 作用是将key1里的某个值赋给key2

        数学集合类

        差集 sdiff

        交集 sinter

        并集 sunion

5. Redis hash

        Hset/hget/hmset/hmget/hgetall/hdel

        Hlen

        Hexists key 在key里面的某个值的key

        Hkeys/hvals

        Hincrby/hincrbyfloat

        Hsetnx

6. redis zset有序集合

        Zadd/zrange

        Zrangebyscore key 开始score结束score

        Zrem key 某score下对应的value值，作用是删除元素

        Zcard/zcount key score 区间/zrank key values值，作用是获得下标值/zscore

        Zrevrank key values值，作用是逆序获得下标值

        Zrevrange

        Zrevrangebyscore key 结束score开始score

五、解析配置文件

Redis.conf配置文件介绍

1. redis默认不是以守护进程的方式运行，可以通诺该配置项修改，使用yes启用守护进程：daemonize no
2. 当redis以守护进程方式时，redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定：pidfile /var/run/redis.pid
3. 指定redis监听端口，默认端口为6379，因为6379在手机按键上MERZ对应的号码，而MERZ这个取自意大利歌女的名字 ：port 6379
4. 绑定的主机地址：bing 127.0.0.1
5. 当客户端闲置多长时间后关闭连接，如果指定为0，表示关闭该功能：timeout 300
6. 指定日志记录级别，redis 总共支持四个级别，debug,verbose,notice,warning,默认verbose:loglevel verbose
7. 日志记录方式，默认为标准输出，如果配置redis为守护进程运行，而这里又配置为日志记录方式为标准输出，则日志将会发送给/dev/null：logfie stdout
8. 设置数据库的数量，默认数据库为0，可以使用select <dbid>命令在连接上指定数据库id:databases id
9. 指定在多长时间内，有多少次更新操作，就将数据同步到数据文件，可以多个条件配合  

        Save <seconds><changes>

        redis默认配置文件中提供了三个条件：

        Save 900 1

        Save 300 10

        Save 60 10000

        分别表示900秒（15分钟）

        内有一个更改，300秒（5分钟）内有10个更改以及60秒内有10000个更改。

10. 指定存储至本地的数据库时是否压缩数据，默认为yes，redis采用LZF压缩，如果为了节省cpu时间，可以关闭该选项，但会导致数据库文件变的巨大 rdbcompression yes

11. 指定本地数据库文件名，默认为dump.rdb :dbfilename dump.rdb

12. 指定本地数据库存放目录dir ./

       13. 设置当本机为slav服务时，设置master服务的ip地址及端口，在redis启动时，它会自动从master进行数据同步 slaveof <masterip> <masterport>

       14. 当master服务设置了密码保护时，slav服务连接master的密码 ：mastersuth <master-password>

       15.设置redis连接密码，如果配置了连接密码，客户端在连接redis时需要通过auth <password>命令提供密码，默认关闭：requirepass foobared

       16. 设置同一时间最大客户端连接数，默认无限制，redis可以同时打开的客户端连接数为reids进程可以打开的最大文件描述数，如果设置maxclients 0,表示不做限制。当客户端连接数到达限制时，redis会关闭新的连接并向客户端返回max numberof clients reached错误信息 ：maxclients 128

       17. 指定redis最大内存限制，redis在启动时会把数据加载到内存中，达到最大内存后，redis会先尝试清除已到期活即将到期的key,当此方法处理后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，会把key存放内存，value会存放在swap区：maxclients 128

      18. 指定是否在每次更新操作后进行日志记录，redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能在断电时导致一段时间内的数据丢失。因为redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内只存在于内存中，默认为no：appendonly no

      19.  指定更新日志文件名，默认为appendonly.aof:appendfilename appendonly.aof

      20. 指定更新日志条件，共有3个可选项：

    No:表示等操作系统进行数据缓存同步到磁盘（快）

    Always:表示每次更新操作后手动调用fsync（）将数据写到磁盘（慢，安全）

    Everysec:表示每秒同步一次（折中，默认值）

    Appendfsync everysec

     21. 指定是否启用虚拟内存机制，默认值为no,简单的介绍一下，vm机制将数据分页存放，由redis将访问量较少的页即冷数据swap到磁盘上，访问多的页面由磁盘自动换出到内存中（在后面的文章我会仔细分析redis的vm机制）：vm-enabled no

    22. 虚拟内存文件路径，默认值为/tmp/redis.swap,不可多个redis实例共享：vm-swap-file /Tmp/redis.swap

    23. 将所有大于vm-max-memory 的数据存入虚拟内存，无论vm-max-memory设置多小，所有索引数据都是内存存储的（redis的索引数据 就是keys）,也就是说，当vm-max-memory 0

    24. Redis swap文件分成了很多的page,一个对象可以保存在多个page上面，但一个page上不能被多个对象共享，vm-page-size是要根据存储的数据大小来设定的，作者建议如果存储很多小对象，page大小最好设置为32或者64bytes,如果存储很大对象，则可以使用更大的page，如果不确定，就使用默认值 ：vm-pages-size 32

    25. 设置swap文件中的page数量，由于页表（一种表示页面空闲或使用的bitmap）是放在内存中的，在磁盘上每8个pages将消耗1byte的内存 vm-page 134217728

    26. 设置访问swap文件的线程数，最好不要超过机器的核数，如果设置为0，那么所有对swap文件的操作都是串行的，可能会造成比较长时间的延迟，默认值为4 vm-max-threads 4

    27. 设置在项客户端应答时，是否把较小的包合并为一个包发送，默认为开启：glueoutputbuf yes

    28. 指定在超过一定的数量或者最大的元素超过某一临界值时，采用一种特殊的哈希算法：

Hash-max-zipmap-entries 64

Hash-max-zipmap-value 512

    29. 指定是否激活重置哈希，默认为开启：activerehashing yes

    30. 指定包含其他的配置文件，可以在同一主机上多个redis实例之间使用一份配置文件，儿同时各个实例又拥有自己的特定配置文件：include /path/to/local.conf

六、redis 持久化：rdb,aof

1. RDB

         1). 含义：在指定时间间隔内将内存中的数据集快照写入磁盘，也就是行话讲的Snapshot快照，它修复时是将快照文件直接读到内存里。Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。整个过程中，主进程是不进行任何IO操作的，这就确保了极高的性能。如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。

         2). Fork:fork的作用是复制一个与当前进程一样的进程，新进程的所有数据（变量，环境变量，程序计数器等）数值都和原进程一致，但是是一个全新的进程，并作为原进程的子进程。

         3). Rdb保存的是dump.rdb文件

         4).快照 :

                  Save : save 时只管保存，其他不管，全部阻塞

                  Basave: redis会在后台异步进行快照操作，快照同时还可以响应客户端请求。可以通过lastsave命令获取最后一次成功执行快照的时间

                  执行flushall命令，也会产生dump.rdb文件，但里面是空的，无意义

         5). 恢复：将备份文件dump.rdb移动到redis安装目录并启动服务即可 config get dir获取目录

2.AOF：

        优势：适合大规模的数据恢复，对数据完整性好一致性要求不高

        劣势：在一定间隔时间做一次备份，所以如果redis意外down掉的话，就会丢失最后一次快照后的所有修改。Fork的时候，内存中的数据被克隆了一份，大致2倍的膨胀性需要考虑

        如何停止：动态所有停止RDB保存规则的方法：redis-cli config set save “”

        启动：

        Appendonly no 改为yes重启加载

        Redis-server /myredis/redis_aof.conf

        Redis-cli -p 6379

        执行 set key value  此时会生成文件

        Redis-check-aof --fix appendonly.aof修复文件

        aof采用文件追加的方式，文件会越来越大为避免出现此种情况，新增了重写机制，当aof文件的大小超过所设定的阈值时，redis就会启动aof文件的内容压缩，只保留可以恢复数据的最小指令集，看使用命令bgrewriteaof

        重写原理：aof文件持续增长而过大时，会fork出一条新进程来将文件重写（也是先写临时文件最后再rename），遍历新进程的内存中数据，每条记录有一条的set语句。重写aof文件的操作，并没有读取旧的aof文件，而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件。

        触发机制：redis会记录上次重写时的aof大小，默认配置是当aof文件大小是上次rewrite后大小的一倍且文件大于64M时触发

        aof优势：

        每秒同步：appendfsync always同步持久化 每次发生数据变更会立即记录到磁盘 性能较差但数据完整性比

        没修改同步：appendfsync everysec 异步操作，每秒记录 如果一秒内宕机，有数据丢失

        不同步：appendfsync no从不同步

        缺点：相同数据集的数据aof文件要远大于rdb文件，恢复速度慢于rdb;rdb运行效率要慢于rdb，每秒同步策略效率较好，不同步效率和rdb相同

七、优缺点对比:

RDB持久化方式能够在指定时间间隔能对你的数据进行快照存储

AOF持久化方式记录每次对服务器写的操作，当服务器重启的时候会重新执行这些命令来回复原始的数据,AOF命令以redis协议追加保存每次写的操作到文件末尾。

Redis还能对aof文件进行后台重写，使得aof文件的体积不至于过大

只做缓存：如果你只希望你的数据在服务器运行的时候存在，你也可以不使用任何持久化方式。

同时开启两种持久化方式：

在这种情况下，当redis重启 的时候会优先载入AOF文件来恢复原始的数据，因为在通常情况下AOF文件保存的数据集要比RDB文件保存到的数据集要完整。

RDB的数据不实时，同时使用两者时服务器重启也只会找AOF文件。那要不要只使用AOF你？作者建议不要，因为RDB更适合备份数据库（AOF在不断变化不好备份），快速重启，而且不会有aof可能潜在的bug.

性能分析：

八、redis事务

含义：可以一次执行多个命令，本质是一组命令的集合。一个事务中的所有命令都会序列化，按顺序的串行化执行执行而不会被其他命令插入，不许加塞

如何使用：

Case1:正常执行

Case2:放弃事务

Case3:全体连坐

Case4:冤头债主（k1是字符串）

Redis对事务的支持是部分支持

Case5:watch监控

        悲观锁/乐观锁/CAS

        悲观锁：每次拿数据的时候都认为别人会修改，所以每次在拿数据的时候都会上锁，这样别人想拿这个数据就会block直到它拿到锁。传统的关系型数据库就用到了真多这种锁机制，比如行锁，表锁等，读锁，写锁等，都是在做操作之前先上锁

        乐观锁：每次拿数据的时候都认为别人不会修改，所以不会上锁，但是在更新的时候会判断一下在此期间别人有没有更新这个数据，可以使用版本号等机制。乐观锁适用于多读的应用类型，这样可以提高吞吐量。乐观锁策略：提交版本必须大于记录当前版本才能执行更新。

        初始化信用卡可用余额和欠额

        无加塞篡改，先监控再开启multi,保证两笔金额变动在同一个事务内

        有加塞篡改

        Unwatch

        一旦执行了exec之前加的监控锁都会被取消掉了

        事务开启:以MULTI开始一个事务

        入队：将多个命令入队到事务中，接到这些命令并不会立即执行，而是放到等待执行的事务队列里面

        执行：由exec命令触发事务

        特性：

 

九、redis的发布订阅

1. ,含义：进程间的一种消息通信模式：发送者（pub）发送消息，订阅者（sub）接收信息。
2.                    

十、redis的主从复制 master/slave

1. 行话也就是我们所说的主从复制，主机数据更新后根据配置和策略，自动同步到备机的master/slaver机制，Master以写为主，Slave以读为主。
2. 怎么玩

          1).配从(库)不配主(库)

          2).从库配置：slaveof主库IP主库端口：每次与master断开之后，都需要重新连接，除非你配置进redis.conf文件 Info replication

          3).修改配置文件细节操作:

                  拷贝多个redis

                 

                  

开启daemonize yes

Pid文件名字

指定端口

Log文件名字

Dump.rdb名字

                 

               

                

               4),常用三招

                     A. 一主二从

                     Init

                     

                     

                     

                     

                        

                  一个master两个slave

                       

                        

                        

                        

                        

                  

日志查看

主从问题演示（以上图片演示了主机和从机挂了之后的情形）                       

              B.薪火相传

                         

上一个Slave可以是下一个slave的master，slave同样可以接收其他slaves的连接和同步请求，那么slave作为了链条中下一个的master，可以有效减轻master的压力

中途变更转向：会清除之前的数据，重新建立拷贝最新的

Slaveof新主库OP新主库端口

            

           

           

             C.反客为主

现在恢复一主二从

79是主机

                 Slave on one 使当前数据库停止与其他数据库的同步，转成主数据库

               5),复制原理

                      slave启动成功连接到master后悔发送一个sync命令

                      Maste接到命令启动后台的存盘进程，同时收集所有接收到的用于修改数据集命令。在后台进程执行完毕之后，master将传送整个数据文件到slave，以完成一次完全同步

                      全量复制：而slave服务在接收到数据库文件数据后，将其存盘并加载到内存中

                      增量复制：master继续将新的所有收集到的修改命令一次传给slaev,完成同步

                      但是只要重新连接master一次完全同步（全量复制）将被自动执行

               6),哨兵模式sentine

                      含义，（反客为主的主动版），能够后台监控主机是否故障，如果故障了根据投票数自动将从库转换为主库

                      使用：

                      调整结构：6379带着80,81

                      自定义的/myredis目录下新建sentinel.conf文件，名字决不能错

                      配置哨兵，填写内容：sentinel monitor被监控数据库名字（自己起名字）127.0.0.1 6379 1，上面最后一个数字1，表示主机挂掉后slave投票看让谁阶梯成为主机，得票数多着成为主机

                      启动哨兵:redis-sentinel /myredis/sentinel.conf,上述目录依照各自的实际情况配置，可能目录不同

                      正常主从演示

                      原有的master挂了

                      投票新选

                      重新主从继续开工，info replication查查看

                      问题：如果之前的master重启回来，会不会双master冲突？

                      一组sentine能同时监控多个master

          

         Vim sentinel.conf

          

          

Redis-sentinel /myredis/sentinel.conf启动

哨兵开始巡逻：79是主机，80,81，是从机。主机挂了，投票80,81.多的上位。

           

                主机挂了之后

                        

               投票选中80：此时80是81的主机。81自动连接主机80。此时两台nosql存储的原始数据不变。

                      

                 此时79复活，

                  

                 选票

                 

               6),复制到缺点

由于所有的写操作都是先在master上操作，然后同步更新到slave上，所以master同步到slave机器有一定的延迟，当系统很繁忙的时候，延迟问题会更加严重，slave机器数量的增加也会使这个问题更加严重。Slave越多，延迟效果越差

Redis  银行转账事务watch操作

         

          

                        

               6),JedisPool

                       

                        

                       

 

---

总结

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。