Redis学习笔记

最新推荐文章于 2024-09-02 19:46:01 发布
最新推荐文章于 2024-09-02 19:46:01 发布
阅读量218 收藏
点赞数
文章标签： redis
本Blog上所有的原创文章未经本人许可，不得用于商业用途及传统媒体。网络媒体转载请注明出处，否则属于侵权行为。
本文链接：https://blog.csdn.net/qq_36414062/article/details/104724146
版权

（部分内容参考其他文章，仅作学习笔记使用）

一、Redis简介

1. 什么是Redis

redis是一个高性能的key-value数据库，它是完全开源免费的，而且redis是一个NOSQL类型数据库，是为了解决高并发、高扩展，大数据存储等一系列的问题而产生的数据库解决方案，是一个非关系型的数据库。但是，它也是不能替代关系型数据库，只能作为特定环境下的扩充。

redis是一个以key-value存储的数据库结构型服务器，它支持的数据结构类型包括：字符串（String）、链表（lists）、哈希表（hash）、集合（set）、有序集合（Zset）等。为了保证读取的效率，redis把数据对象都存储在内存当中，它可以支持周期性的把更新的数据写入磁盘文件中。而且它还提供了交集和并集，以及一些不同方式排序的操作。

2. 为什么要用Redis

  • Redis的优势及特点

    1. redis数据读写速度非常快，因为它把数据都读取到内存当中操作，而且redis是用C语言编写的，是最“接近“”操作系统的语言，所以执行速度相对较快。

    2. redis虽然数据的读取都存在内存当中，但是最终它是支持数据持久化到磁盘当中。

    3. redis提供了丰富的数据结构。

    4. redis的所有操作都是原子性，支持事务，所谓的原子性就是对数据的更改要么全部执行，要么全部不执行。

    5. redis支持主从复制，主机会自动将数据同步到从机，可以进行读写分离。

    6. 丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。

  • Redis的应用场景

    1. redis由于数据的读取和操作都在内存当中操作，读写的效率较高，所以经常被用来做数据的缓存。把一些需要频繁访问的数据，而且在短时间之内不会发生变化的，放入redis中进行操作。从而提高用户的请求速度和降低网站的负载，降低数据库的读写次数，就把这些数据放到缓存中。

    2. 一些常用的实时计算的功能。需要实时变化和展示的功能，就可以把相关数据放在redis中进行操作。大大提高效率。

    3. 消息队列，经常用来构建类似实时聊天系统的功能，大大提高应用的可用性。

  • Redis与其他key-values存储有什么不同？

    1. Redis有着更为复杂的数据结构并且提供对他们的原子性操作，这是一个不同于其他数据库的进化路径。Redis的数据类型都是基于基本数据结构的同时对程序员透明，无需进行额外的抽象。
    2. Redis运行在内存中但是可以持久化到磁盘，所以在对不同数据集进行高速读写时需要权衡内存，因为数据量不能大于硬件内存。在内存数据库方面的另一个优点是，相比在磁盘上相同的复杂的数据结构，在内存中操作起来非常简单，这样Redis可以做很多内部复杂性很强的事情。同时，在磁盘格式方面他们是紧凑的以追加的方式产生的，因为他们并不需要进行随机访问。

二、Redis安装

1. Redis在不同系统中的安装、启动、停止及连接

  • Ubuntu系统下
  1. 安装

sudo apt install redis-server

测试是否安装成功： ps aux | grep redis

  1. 启动停止

如果以(sudo apt install redis-server)方式安装

  • 启动：sudo srevice redis start
  • 停止：sudo srevice redis stop
  • 重启：sudo srevice redis restart
  1. 客户端连接
  • 本地连接：redis-cli
  • 远程连接：redis-cli -h host -p port -a password

三、配置文件

  1. Units

  2. Includes

  3. General通用

  4. Snapshotting快照

    • save
    • save 秒钟 写操作次数
    • stop-writes-on-bgsave-error
    • rdbcompression
    • rdbchecksum
    • dbfilename
    • dir

  5. Replication复制

  6. security安全

    • 默认密码空“”、用户名auth

    • 在配置文件中添加登录密码：

    • 在控制台添加登录密码：

      查看当前密码：config get requirepass

      设置密码：config get requirepass “密码”

  7. limit限制

    • maxclients

    • maxmemory

    • maxmemory-policy（当内存满了之后的操作策略）

      volatile-lru、allkeys-lru、volatile-random、allkeys-random、volatile-ttl、noeviction

      volatile：对设置了过期时间的键

      allkeys：所有的键

      lru：（LRU）算法最近最少使用的被清除

      ttl：移除那些ttl值最小的key

      random：随机清除

    • maxmemory-samples

      选取样例的数量

  8. append only mode

    • appendonly

    • appendfilename

    • appendfsync

      always、everysec、no

    • no-appendfsync-on-rewrite

    • auto–aof-rewrite-min-size

    • auto–aof-rewrite-percentage

四、数据类型

  1. 键（key）

    常用命令：

    命令作用返回值
    keys *
    exists key1/0
    move key db将键移至制定数据库1/0
    ttl key判断剩余存在时间剩余时间/-1（永久存在）/-2（已消失）
    type key判断键的类型键的类型

  2. 字符串（String）

    常用命令：

    • set/get/del/append/strlen
    • incr/decr/incrby/decrby
    • getrange/setrange
    • setex/setnx
    • mset/mget/msetnx
    • getset

  3. 列表（List）

    常用命令：

    • lpush/rpush/lrange
    • lpop/rpop
    • lindex
    • llen
    • lrem key
    • ltrim key
    • rpoplpush
    • lset key index value
    • linsert key before/after 值1 值2

  4. 集合（Set）

    常用命令：

    • sadd/smembers/sismember
    • scard
    • srem key value
    • srandmember key
    • spop key 随机出栈
    • smove key1 key2
    • sdiff/sinter/sunion 差集/交集/并集

  5. 哈希（Hash）

    常用命令：

    • hset/hget/hmset/hmget/hgetall/hdel
    • hlen
    • hexists key
    • hkeys/hvals
    • hincrby/hincrbyfloat
    • hsetnx

  6. 排序集合Zset（sorted set）

    常用命令：

    • zadd/zrange
    • zrangebyscore key 开始score 结束score
    • zrem key 某score下对应的value值，作用是删除元素
    • zcard/zcount key score区间/zrank key values值，作用是获得下标值/zscore key
    • zrevrank key values值，作用是逆序获得下标值
    • zrevrange
    • zrevrangebyscore key 结束score 开始score

五、持久化

Redis支持RDB和AOF两种持久化机制，持久化功能有效地避免因进程退出造成的数据丢失问题，当下次重启时利用之前持久化的文件即可实现数 据恢复。理解掌握持久化机制对于Redis运维非常重要

1. RDB（Redis DataBase ）持久化

RDB持久化是把当前进程数据生成快照保存到硬盘的过程，触发RDB持久化过程分为手动触发和自动触发

触发机制

手动触发分别对应save和bgsave命令

  • save命令：阻塞当前Redis服务器，直到RDB过程完成为止，对于内存 比较大的实例会造成长时间阻塞，线上环境不建议使用

  • bgsave命令：Redis进程执行fork操作创建子进程，RDB持久化过程由子 进程负责，完成后自动结束。阻塞只发生在fork阶段，一般时间很短

  • flushall命令：执行flushall命令，也会产生dump.rdb文件，但里面是空的，无意义

自动触发RDB的持久

1）使用save相关配置，如“save m n”。表示m秒内数据集存在n次修改 时，自动触发bgsave。

2）如果从节点执行全量复制操作，主节点自动执行bgsave生成RDB文件并发送给从节点，更多细节见6.3节介绍的复制原理。

3）执行debug reload命令重新加载Redis时，也会自动触发save操作。

4）默认情况下执行shutdown命令时，如果没有开启AOF持久化功能则 自动执行bgsave。

bgsave是主流的触发RDB持久化方式

img

1）执行bgsave命令，Redis父进程判断当前是否存在正在执行的子进 程，如RDB/AOF子进程，如果存在bgsave命令直接返回。

2）父进程执行fork操作创建子进程，fork操作过程中父进程会阻塞，通 过info stats命令查看latest_fork_usec选项，可以获取最近一个fork操作的耗时，单位为微秒

3）父进程fork完成后，bgsave命令返回“Background saving started”信息并不再阻塞父进程，可以继续响应其他命令。

4）子进程创建RDB文件，根据父进程内存生成临时快照文件，完成后 对原有文件进行原子替换。执行lastsave命令可以获取最后一次生成RDB的 时间，对应info统计的rdb_last_save_time选项。

5）进程发送信号给父进程表示完成，父进程更新统计信息，具体见 info Persistence下的rdb_*相关选项。

RDB文件的处理

保存：RDB文件保存在dir配置指定的目录下，文件名通过dbfilename配 置指定。可以通过执行config set dir{newDir}和config set dbfilename{newFileName}运行期动态执行，当下次运行时RDB文件会保存到新目录。

RDB的优缺点

  1. RDB的优点：

    • RDB是一个紧凑压缩的二进制文件，代表Redis在某个时间点上的数据 快照。非常适用于备份，全量复制等场景。比如每6小时执行bgsave备份， 并把RDB文件拷贝到远程机器或者文件系统中（如hdfs），用于灾难恢复。

    • fork时不占用父进程，所以RDB持久化方式可以最大化redis的性能。

    • Redis加载RDB恢复数据远远快于AOF的方式。

  2. RDB的缺点：

    • RDB方式数据没办法做到实时持久化/秒级持久化，数据丢失风险大。因为bgsave每次运 行都要执行fork操作创建子进程，属于重量级操作，频繁执行成本过高。
    • RDB文件使用特定二进制格式保存，Redis版本演进过程中有多个格式 的RDB版本，存在老版本Redis服务无法兼容新版RDB格式的问题。
    • 针对RDB不适合实时持久化的问题，Redis提供了AOF持久化方式来解决。

2. AOF（Append Only File）持久化

AOF（append only file）持久化：以独立日志的方式记录每次写命令， 重启时再重新执行AOF文件中的命令达到恢复数据的目的。AOF的主要作用 是解决了数据持久化的实时性，目前已经是Redis持久化的主流方式

使用AOF

开启AOF功能需要设置配置：appendonly yes，默认不开启。AOF文件名 通过appendfilename配置设置，默认文件名是appendonly.aof。保存路径同 RDB持久化方式一致，通过dir配置指定。AOF的工作流程操作：命令写入 （append）、文件同步（sync）、文件重写（rewrite）、重启加载 （load）

img

  • 所有的写入命令会追加到aof_buf（缓冲区）中。

  • AOF缓冲区根据对应的策略向硬盘做同步操作。

    AOF为什么把命令追加到aof_buf中？Redis使用单线程响应命令，如果每次写AOF文件命令都直接追加到硬盘，那么性能完全取决于当前硬盘负载。先写入缓冲区aof_buf中，还有另一个好处，Redis可以提供多种缓冲区同步硬盘的策略，在性能和安全性方面做出平衡

  • 随着AOF文件越来越大，需要定期对AOF文件进行重写(默认配置是当aof文件大小是上次rewrite后大小的一倍且文件大于64m时触发)，达到压缩的目的。

    重写后的AOF文件为什么可以变小？有如下原因：

    1）进程内已经超时的数据不再写入文件。

    2）旧的AOF文件含有无效命令，如del key1、hdel key2、srem keys、set a111、set a222等。重写使用进程内数据直接生成，这样新的AOF文件只保

    留最终数据的写入命令。

    3）多条写命令可以合并为一个，如：lpush list a、lpush list b、lpush list c可以转化为：lpush list a b c。为了防止单条命令过大造成客户端缓冲区溢 出，对于list、set、hash、zset等类型操作，以64个元素为界拆分为多条。

    AOF重写降低了文件占用空间，除此之外，另一个目的是：更小的AOF 文件可以更快地被Redis加载

    AOF重写过程可以手动触发和自动触发：

    ·手动触发：直接调用bgrewriteaof命令。

    ·自动触发：根据auto-aof-rewrite-min-size和auto-aof-rewrite-percentage参数确定自动触发时机

    ·auto-aof-rewrite-min-size：表示运行AOF重写时文件最小体积，默认 为64MB。

    ·auto-aof-rewrite-percentage：代表当前AOF文件空间 （aof_current_size）和上一次重写后AOF文件空间（aof_base_size）的比值。

    自动触发时机=aof_current_size>auto-aof-rewrite-minsize&&（aof_current_size-aof_base_size）/aof_base_size>=auto-aof-rewritepercentage

    其中aof_current_size和aof_base_size可以在info Persistence统计信息中查看。

    img

  • 当Redis服务器重启时，可以加载AOF文件进行数据恢复。

    img

    流程说明：

    1）AOF持久化开启且存在AOF文件时，优先加载AOF文件，打印如下日志：

    * DB loaded from append only file: 5.841 seconds

    2）AOF关闭或者AOF文件不存在时，加载RDB文件，打印如下日志：

    * DB loaded from disk: 5.586 seconds

    3）加载AOF/RDB文件成功后，Redis启动成功。

    4）AOF/RDB文件存在错误时，Redis启动失败并打印错误信息。

AOF优缺点

  1. 优势

  2. 劣势：

3. 总结

1）Redis提供了两种持久化方式：RDB和AOF。

2）RDB使用一次性生成内存快照的方式，产生的文件紧凑压缩比更高，因此读取RDB恢复速度更快。由于每次生成RDB开销较大，无法做到实时持久化，一般用于数据冷备和复制传输。

3）save命令会阻塞主线程不建议使用，bgsave命令通过fork操作创建子进程生成RDB避免阻塞。

4）AOF通过追加写命令到文件实现持久化，通过appendfsync参数可以 控制实时/秒级持久化。因为需要不断追加写命令，所以AOF文件体积逐渐变大，需要定期执行重写操作来降低文件体积。

5）AOF重写可以通过auto-aof-rewrite-min-size和auto-aof-rewritepercentage参数控制自动触发，也可以使用bgrewriteaof命令手动触发。

6）子进程执行期间使用copy-on-write机制与父进程共享内存，避免内 存消耗翻倍。AOF重写期间还需要维护重写缓冲区，保存新的写入命令避免数据丢失。

7）持久化阻塞主线程场景有：fork阻塞和AOF追加阻塞。fork阻塞时间 跟内存量和系统有关，AOF追加阻塞说明硬盘资源紧张。

8）单机下部署多个实例时，为了防止出现多个子进程执行重写操作， 建议做隔离控制，避免CPU和IO资源竞争。

六、事务

redis事务就是一次性、顺序性、排他性的执行一个队列中的一系列命令。

1. 概念

​ Redis 事务的本质是一组命令的集合。事务支持一次执行多个命令，一个事务中所有命令都会被序列化。在事务执行过程，会按照顺序串行化执行队列中的命令，其他客户端提交的命令请求不会插入到事务执行命令序列中。

2. 如何使用

  1. watch key1 key2 … : 监视一或多个key,如果在事务执行之前，被监视的key被其他命令改动，则事务被打断 （ 类似乐观锁 ）
  2. multi : 标记一个事务块的开始（ queued ）
  3. exec : 执行所有事务块的命令 （ 一旦执行exec后，之前加的监控锁都会被取消掉 ）
  4. discard : 取消事务，放弃事务块中的所有命令
  5. unwatch : 取消watch对所有key的监控

3. Watch

​ watch指令类似于乐观锁，在事务提交时，如果watch监控的多个KEY中任何KEY的值已经被其他客户端更改，则使用EXEC执行事务时，事务队列将不会被执行，同时返回Nullmulti-bulk应答以通知调用者事务执行失败。

  • 一但执行 EXEC 开启事务的执行后，无论事务使用执行成功， WARCH 对变量的监控都将被取消。故当事务执行失败后，需重新执行WATCH命令对变量进行监控，并开启新的事务进行操作。

4. 三阶段

  • 开始事务
  • 命令入队
  • 执行事务

5. 三特性

  • 单独的隔离操作

    事务中的所有命令都会序列化、按顺序的执行，事务在执行的过程中不会被其他客户端发送来的命令请求所打断

  • Redis事务没有隔离级别的概念：

    ​ 批量操作在发送 EXEC 命令前被放入队列缓存，并不会被实际执行，也就不存在事务内的查询要看到事务里的更新，事务外查询不能看到。

  • Redis不保证原子性：

    ​ Redis中，单条命令是原子性执行的，但事务不保证原子性，且没有回滚。事务中任意命令执行失败，其余的命令仍会被执行。

    • 若在事务队列中存在命令性错误（类似于java编译性错误），则执行EXEC命令时，所有命令都不会执行
    • 若在事务队列中存在语法性错误（类似于java的1/0的运行时异常），则执行EXEC命令时，其他正确命令会被执行，错误命令抛出异常。

七、主从复制、读写分离

_小柴胡
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
redis常见问题总结
yang1519784522的博客
01-01 328
1.什么是Redis? Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API的非关系型数据库。 redis是一个以key-value存储的数据库结构型服务器，它支持的数据结构类型包括：字符串（String）、链表（lists）、哈希表（hash）、集合（set）、有序集合（Zset）等。为了保证...
redis面试题
ma815841356的博客
06-09 654
redis面试题1 什么是redis？2 redis的优点3 redis支持的数据类型4 缓存和数据库双写一致性问题5 缓存雪崩问题6 缓存击穿问题7 单线程的redis为什么这么快8 Redis 持久化机制9 缓存雪崩9 缓存穿透9 缓存预热9 缓存更新9 缓存降级9 Memcache与Redis的区别都有哪些？9 redis的过期策略以及内存淘汰机制9 主从复制，读写分离9 为什么Redis的...
高性能的Key-Value数据库：Redis
阿水的博客
02-04 1419
NoSQL概念 NoSQL(NoSQL = Not Only SQL)，意即“不仅仅是SQL”，是一项全新的数据库理念，泛指非关系型的数据库。 随着互联网web- 0网站的兴起，传统的关系数据库在应付web- 0网站，特别是超大规模和高并发的SNS类型的web- 0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产...
redis学习笔记
05-04
### Redis 学习笔记知识点概览 #### 一、Redis 简介及特性 - **Redis**（Remote Dictionary Server）是一种开源的、基于内存的数据结构存储系统，它支持多种数据结构，如字符串（strings）、散列（hashes）、列表...
Redis学习笔记.pdf
08-07
Redis还支持主从复制和哨兵机制（Sentinel），前者可以实现数据的同步备份，后者则用于管理多个Redis服务器，实现故障转移。Redis集群的建立和管理可以进一步提升数据库的高可用性和扩展性，支持数据分片和负载均衡...
redis学习笔记Redis.md
01-04
### Redis 学习笔记知识点概览 #### 一、Redis 概述与应用场景 ##### 1.1 NoSQL 数据库简介 - **定义**: NoSQL（Not Only SQL）泛指非关系型数据库，它们通常不使用传统的表格关系来存储数据。 - **特性**: NoSQL ...
Redis 实现哨兵模式
weixin_68398469的博客
08-26 1087
哨兵也叫 sentinel，它的作用是能够在后台监控主机是否故障，如果故障了根据投票数自动将从库转换为主库。Sentinel进程是用于监控redis集群中Master主服务器工作的状态，在Master主服务器发生故障的时候， 可以实现Master和Slave服务器的切换，保证系统的高可用，此功能在redis2.6+的版本已引用，Redis的 哨兵模式到了2.8版本之后就稳定了下来。一般在生产环境也建议使用Redis的2.8版本的以后版本每个哨兵。
redisson RMap和RMapCache的区别
weixin_43833540的博客
09-02 125
RMapCache：基于Redis的zset（有序集合）实现自动过期缓存，这可能在某些情况下导致性能低于RMap，特别是在处理大量数据时。通过设置过期时间，可以自动清理过期的数据，减少手动管理的复杂性。RMapCache：是一个带有缓存自动过期功能的Map实现，它结合了RMap的映射功能和缓存过期的特性。开发人员需要自行管理数据的过期和清理。RMap：基于Redis的Hash结构，因此在大数据量和高并发的情况下，性能相对较高。RMap：是一个分布式的映射结构，类似于Java中的Map接口，用于存储键值对。
Redis Desktop Manager 0.8.8.384 安装与使用详解
专注于全栈开发领域
09-02 757
Redis Desktop Manager 是一个强大但易用的 Redis 数据库管理工具。通过本文，你应该已经掌握了 RDM 的基本安装和使用方法。如果你在使用过程中遇到任何问题，建议参考官方文档或社区支持。希望这个工具能帮助你更高效地管理 Redis 数据库。
Redis 入门到精通1
2301_80011650的博客
08-30 382
设置一个键值对。输出：OKGET key：获取指定键的值。GET name输出：“John”INCR key：将键的值自增 1。输出：1DECR key：将键的值自减 1。输出：1：将值追加到指定键的现有值后面。输出：11（表示新字符串的长度）
tomcat redis minio nginx windows开机自启
weixin_41018853的博客
09-02 294
命令。
Redis 非关系型数据库
m0_63016075的博客
08-30 752
set 类型数据操作的注意事项 1.set 类型无序且不允许数据重复，如果添加的数据在 set 中已经存在，将只保留一份 2.set 虽然与hash的存储结构相同，但是无法启用hash中存储值的空间。但是如果你的数据是复杂的对象类型，而取出的时候又不想做任何的数据转换，直接从Redis里面取 出一个对 象，那么使用RedisTemplate是更好的选择。对原生的jedis的早期封装。RDB持久化记录的是数据内容，恢复直接把快照读取到内存中 AOF持久化记录的是数据的指令，恢复时指令需重新运行。
Redis的持久化机制
江江的博客
08-27 911
Redis的持久化机制包括RDB、AOF和混合持久化三种方式。每种方式都有其优缺点，用户可以根据实际需求和场景来选择合适的持久化策略。在选择时，需要权衡数据安全性、恢复速度、性能等因素。
Redis发布订阅PUB/SUB
最新发布
OceanSky的专栏
09-02 172
Redis发布订阅PUB/SUB是一种消息通信模式，发送者PUB发送消息，订阅者SUB接收消息。Redis客户端可以订阅任意数量的频道，一个通道CHANNEL可以被多个客户端订阅，当一条消息发送到CHANNEL中去后所有订阅的客户端都会接收到此消息。
Redis的内存淘汰策略
Flying_Fish_roe的博客
08-31 1322
Redis中的内存淘汰策略是用于在内存不足时选择哪些键需要被删除以释放内存空间。noeviction：不删除任何键，当内存不足时，所有写操作都会报错。allkeys-lru：在所有键中，选择最近最少使用（Least Recently Used）的键进行删除。volatile-lru：在设置了过期时间的键中，选择最近最少使用的键进行删除。allkeys-random：在所有键中，随机选择一个键进行删除。volatile-random：在设置了过期时间的键中，随机选择一个键进行删除。
Redis基本全局命令
m0_74189279的博客
08-29 877
redis基本全局命令
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值