Redis(一)——Redis核心数据结构和高性能原理

已于 2023-06-07 15:24:34 修改
阅读量397 收藏 1
点赞数 3
分类专栏： Redis Linux 文章标签： redis 数据库 缓存
于 2020-04-12 17:45:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yemuxiaweiliang/article/details/105463715
版权

Redis核心数据结构和高性能原理

Redis安装

下载地址：http://redis.io/download
安装步骤：
# 安装gcc
yum install gcc

# 把下载好的redis-5.0.3.tar.gz放在/usr/local文件夹下，并解压
wget http://download.redis.io/releases/redis-5.0.3.tar.gz
tar -zxvf redis-5.0.3.tar.gz
cd redis-5.0.3

# 进入到解压好的redis-5.0.3目录下，进行编译与安装
make

# 修改配置
daemonize yes  #后台启动
protected-mode no  #关闭保护模式，开启的话，只有本机才可以访问redis
# 需要注释掉bind
#bind 127.0.0.1（bind绑定的是自己机器网卡的ip，如果有多块网卡可以配多个ip，代表允许客户端通过机器的哪些网卡ip去访问，内网一般可以不配置bind，注释掉即可）

# 启动服务
src/redis-server redis.conf

# 验证启动是否成功 
ps -ef | grep redis 

# 进入redis客户端 
src/redis-cli 

# 退出客户端
quit

# 退出redis服务： 
（1）pkill redis-server 
（2）kill 进程号                       
（3）src/redis-cli shutdown

参考链接
Redis安装

安装问题处理

修改了redis.conf文件

每次修改了redis.conf文件之后都需要重新加载一下配置文件再重启服务

 ./redis-server redis.conf

关闭防火墙

由于linux防火墙默认开启，redis的服务端口6379并不在开放规则之内，所有需要将此端口开放访问或者关闭防火墙。

关闭防火墙
systemctl stop firewalld
systemctl status firewalld
systemctl disable firewalld   //关闭防火墙
systemctl enable firewalld
开放端口
firewall-cmd --add-port=6379/tcp

redis.conf中绑定多个ip地址

用空格进行分隔
bind 127.0.0.1 192.168.5.3
绑定任意IP
bind 0.0.0.0

设置redis密码（已踩坑）

为了安全一定要设，而且这里如果不绑定ip也不设密码的话，redis是默认保护模式，只能本虚拟机访问，不允许其他ip访问。
关闭保护模式也可以

protected-mode no  #关闭保护模式，开启的话，只有本机才可以访问redis

使用telnet测试远程ip的端口

在这里插入图片描述
未输出任何字样表示远程端口可以访问

Redis基础数据结构

Redis 有 5 种基础数据结构，分别为：string (字符串)、list (列表)、set (集合)、hash (哈希) 和 zset (有序集合)。
在这里插入图片描述

字符串

常用操作

在这里插入图片描述
在这里插入图片描述

原子计数

在这里插入图片描述

如果 value 值是一个整数，还可以对它进行自增操作。自增是有范围的，它的范围是 signed long 的最大最小值，超过了这个值，Redis 会报错
在这里插入图片描述

应用场景

分布式锁

在这里插入图片描述
在这里插入图片描述

单值缓存

在这里插入图片描述

对象缓存

在这里插入图片描述

计数器

在这里插入图片描述
在这里插入图片描述

web集群session共享

在这里插入图片描述

分布式系统全局id

在这里插入图片描述

list(列表)

  • Redis 的列表相当于 Java 语言里面的 LinkedList，注意它是链表而不是数组。这意味着 list 的插入和删除操作非常快，时间复杂度为 O(1)，但是索引定位很慢，时间复杂度为 O(n)，这点让人非常意外。 当列表弹出了最后一个元素之后，该数据结构自动被删除，内存被回收。
  • Redis 的列表结构常用来做异步队列使用。将需要延后处理的任务结构体序列化成字符串塞进 Redis 的列表，另一个线程从这个列表中轮询数据进行处理。

在这里插入图片描述
在这里插入图片描述

应用场景

模拟数据结构

Stack(栈) = LPUSH + LPOP
Queue(队列）= LPUSH + RPOP
Blocking MQ(阻塞队列）= LPUSH + BRPOP
在这里插入图片描述
在这里插入图片描述

微博和微信公号消息流

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

hash (字典)

  • Redis 的字典相当于 Java 语言里面的 HashMap，它是无序字典。内部实现结构上同 Java 的 HashMap 也是一致的，同样的数组 + 链表二维结构。第一维 hash 的数组位置碰撞时，就会将碰撞的元素使用链表串接起来。
  • hash 结构也可以用来存储用户信息，不同于字符串一次性需要全部序列化整个对象，hash 可以对 用户结构中的每个字段单独存储。这样当我们需要获取用户信息时可以进行部分获取。而以整个字符串的形式去保存用户信息的话就只能一次性全部读取，这样就会比较浪费网络流量。 hash 也有缺点，hash 结构的存储消耗要高于单个字符串，到底该使用 hash 还是字符串，需要根据实际情况再三权衡。

Hash常用操作

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Hash结构的应用场景

对象缓存

在这里插入图片描述

电商购物车

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

set (集合)

Redis 的集合相当于 Java 语言里面的 HashSet，它内部的键值对是无序的唯一的。它的内部实现相当于一个特殊的字典，字典中所有的 value 都是一个值NULL。 当集合中最后一个元素移除之后，数据结构自动删除，内存被回收。

set常用操作

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

应用场景

微信抽奖小程序

在这里插入图片描述
在这里插入图片描述

微信微博点赞，收藏，标签

在这里插入图片描述
在这里插入图片描述

集合操作

在这里插入图片描述

集合操作实现微博微信关注模型

在这里插入图片描述

集合操作实现电商商品筛选

在这里插入图片描述

zset (有序集合)

zset 类似于 Java 的 SortedSet 和 HashMap 的结合体，一方面它是一个 set，保证了内部 value 的唯一性，另一方面它可以给每个 value 赋予一个 score，代表这个 value 的排序权重。
zset 可以用来存粉丝列表，value 值是粉丝的用户 ID，score 是关注时间。我们可以对粉丝列表按关注时间进行排序。
zset 还可以用来存储学生的成绩，value 值是学生的 ID，score 是他的考试成绩。我们可以对成绩按分数进行排序就可以得到他的名次。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

应用场景

Zset集合操作实现排行榜

在这里插入图片描述
在这里插入图片描述

其他高级命令

  • keys：全量遍历键，用来列出所有满足特定正则字符串规则的key，当redis数据量比较大时，性能比较差，要避免使用
    在这里插入图片描述

  • Info：查看redis服务运行信息，分为 9 大块，每个块都有非常多的参数，这 9 个块分别是:

    • Server 服务器运行的环境参数
    • Clients 客户端相关信息
    • Memory 服务器运行内存统计数据
    • Persistence 持久化信息
    • Stats 通用统计数据
    • Replication 主从复制相关信息
    • CPU CPU 使用情况
    • Cluster 集群信息
      在这里插入图片描述

Redis核心原理

Redis的单线程和高性能

Redis是单线程吗？

Redis 的单线程主要是指 Redis 的网络 IO 和键值对读写是由一个线程来完成的，这也是 Redis 对外提供键值存储服务的主要流程。但 Redis 的其他功能，比如持久化、异步删除、集群数据同步等，其实是由额外的线程执行的。

Redis 单线程为什么还能这么快？

因为它所有的数据都在内存中，所有的运算都是内存级别的运算，而且单线程避免了多线程的切换性能损耗问题。正因为 Redis 是单线程，所以要小心使用 Redis 指令，对于那些耗时的指令(比如keys)，一定要谨慎使用，一不小心就可能会导致 Redis 卡顿。

Redis 单线程如何处理那么多的并发客户端连接？

Redis的IO多路复用：redis利用epoll来实现IO多路复用，将连接信息和事件放到队列中，依次放到文件事件分派器，事件分派器将事件分发给事件处理器。
在这里插入图片描述

yemuxiaweiliang
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Redis高效的数据结构及特殊性
m0_51167384的博客
03-28 209
前言 一、简单动态字符串 1.字符串长度处理 字符串在 C 语言中的存储方式，想要获取 字符串的长度，需要从头开始遍历，直到遇到 ‘\0’ 为止 redis中用一个 len 字段记录当前字符串的长度。想要获取长度只需要获取 len 字段即可。你看，差距不言自明。前者遍历的时间复杂度为 O(n)，Redis 中 O(1) 就能拿到，速度明显提升。 如图所示： 2.内存重新分配 空间预分配 对 SDS 修改及空间扩充时，除了分配所必须的空间外，还会额外分配未使用的空间。 具体分配规则是这样的：SDS 修改后
Redis深入理解-内核请求处理流程、数据传输协议
最新发布
qq_45260619的博客
11-23 1235
AOF 将内存数据同步到磁盘中，一般采用每秒同步一次，如果同步频率过高，就会导致 Redis 性能退化，当 Redis 突然宕机，可能会丢失 1s 内的内存数据，那么在 redis-server 进程重启时，就会把磁盘存储的 aof 文件的数据给读取到内存中，还原 Redis 上次运行时的内存情况。中，那么在上边的 argv 中拿到了命令的名称，就可以去命令查找表中去查找对应的 RedisCommand，在 Redis Client 的输入缓冲区中有一个变量。
Redis （六 深入了解redis内核）
伊始的博客
11-05 2729
### 内存淘汰 redis内存不足时，有两种处理方式： （1）启用虚拟内存：将vm-enabled设置为yes （2）启用内存淘汰：将maxmemory设置为一个大于0的整数 redis的使用内存大于最大分配可用内存时，开始进行淘汰，memcache只有LRU算法，redis有 1 随机淘汰：从数据库随机删除一个key 2 LRU算法：删除一个最近最少访问
Redis 高性能的底层原理
吴振照
12-05 420
Redis是单进程单线程？为什么这么快： 　　进入redis 安装目录下执行以下命令，查看set lpush命令的处理效率：./redis-benchmark -t set,lpush -n 100000 -q 　　根据官方的数据，Redis 的 QPS 可以达到 10 万左右(每秒请求数)。 　　就我这个虚拟机的性能，可以看到每秒钟处理 13 万多次 set 请求，每秒钟处理 13 万次左...
redis 核心原理
qq_39158142的博客
07-03 850
RESP（REdis Serialization Protocol ）协议：redis客户端和服务端是通过RESP协议来进行交互的，RESP协议是基于TCP协议的，将客户端命令以某种形式传递给服务端，服务端接收后，进行命令的解析，并执行。这里我们先将redis持久化方式设置为AOF模式，准确查看RESP协议是怎么进行传输的。将appendonly.aof文件清空，然后使用set name xiao...
redis分布式 —— 客户端库tinyredis1
08-03
在分布式系统中，Redis作为一种高性能的键值存储服务，常被用来构建高效的数据存储和缓存解决方案。本文将重点介绍一种名为tinyredis的客户端库，它是实现Redis分布式应用的一个轻量级工具，适用于形态1的客户端分布...
redis 数据删除策略和逐出算法的问题小结
09-08
Redis 是一款高性能的键值型内存数据库，其数据删除策略和逐出算法对于保证数据库的高效运行至关重要。本文将深入探讨 Redis 中的这两种机制。 首先，我们来看数据的存储和有效期。在 Redis 中，每个键值对都有可能...
Redis深度历险：核心原理和应用实践1
08-03
Redis作为一个高性能的键值存储系统，其强大的功能使得它在许多场景下成为首选。它不仅可以作为缓存来提升应用性能，还能作为数据库存储持久化的数据。在面试中，面试官常常会询问Redis的具体应用，例如： 1. **...
Lettuce-Redis高级客户端详解1
08-03
5. **Redis Streams支持**：支持Redis的高级数据结构——Streams，用于处理复杂的数据流操作。 6. **异步主从连接**：支持异步连接到主从环境，提高数据读写效率。 7. **全局命令超时**：允许为所有异步和反应式命令...
lua-zset, redis排序集相同的lua数据结构.zip
10-10
在计算机科学中，数据库管理系统的数据结构设计至关重要，尤其在高性能、高并发的场景下。Redis作为一个内存型的键值存储系统，其丰富的数据结构如哈希表、集合、有序集合等提供了强大的功能。本文将深入探讨一个名...
33 3 构建类微博的亿级社交平台高性能Redis技术精讲视频教程
08-07
教程视频：Redis是一个开源(BSD许可),内存存储的数据结构服务器
redis内核、安全优化（四）
m493096871的博客
05-18 1804
建议设置为1 不希望使用swap 会比较慢 会加快512倍的fork速度（2M 之前为4k内存） 可能会导致阻塞，内存暴增 - redis默认的maxclient=10000，则redis至少需要10032个文件句柄。 - 但是Linux默认只有4096个文件句柄，即Redis默认实际的maxc...
redis内核了解
weixin_30443813的博客
06-13 93
一、 内存淘汰 二、对象引用计数器 1、redis的key -》 value 是以redisObject进行存储的，当对象初始化时，refcount = 1；（图1） 2、客户端使用get 时，refcount +１，当释放时refcount -1; 3 、当使用del 时，refcount -1 4、如果refcount = 0 ，从内存删除 图1 三、...
redis深入了解（一）
03-27 2164
redis的常见问题：1.redis是内存版数据库，如果内存满了怎么办？方案一.. redis集群1)一定程度可以解决内存不够用的情况2)但是随着网站用户不断增多，用户所产生的数据将会愈来愈多，3)服务器越多，并不代表性能越高方案二。内存淘汰策略----最近不使用的数据从内存淘汰redis.conf 配置内存淘汰策略1)maxmemory 0 //表示淘汰所有内存2)maxmenory-poliy...
redis 参数优化
tangpengtao的专栏
05-06 1万+
vim /etc/sysctl.conf vm.overcommit_memory = 1   #最好不要设置为0，Linux的OOM机制在内存不足的情况下，会自动选择性Kill进程点数过高的进程，0会中招。 sysctl vm.overcommit_memory=1 0：表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返
Redis核心技术
u012135072的专栏
03-06 1028
一、持久化（对比 memcache）1、RDB持久化（持久化内存数据）2、AOF（持久化 buffer中的命令）二、单线程优势：对小数据的吞吐性能高于memcached（不存在线程分配、线程切换的时间消耗）劣势：对大数据块的吞吐能力比较吃力（大数据块的读写造成的IO阻塞，使单线程的劣势暴露出来）当数据大小超过10K时，redis写入性能已经慢让人无法忍受；当然在读性能上依然可观，因为数据在内存中，...
浅谈redis如何实现高并发、高性能
热门推荐
Syntacticsugar's blog
12-20 1万+
redis缓存技术，大家都知道，也都用过，但是为什么使用redis？ redis有什么优点？ 1、redis如何实现高性能？ 2、redis如何实现高并发？ 》 1、redis实现高性能 redis是基于内存进行操作的，性能较高； 前端发送请求、后端进行和mysql数据库进行交互，进行sql 查询操作，读写比较慢，这时候引入redis ,把从mysql 的数据放入redis 中，下次读取时候性能就...
【承】Redis 原理篇——Redis 高性能深入剖析
weixin_42669785的博客
11-01 659
Redis 为什么这么快？ Redis 到底有多快？ https://redis.io/topics/benchmarks cd /usr/local/soft/redis-5.0.5/src redis-benchmark -t set,lpush -n 100000 -q 结果（本地虚拟机）： SET: 51813.47 requests per second —— 每秒钟处理 5 万多次 set 请求 LPUSH: 51706.31 requests per second —— 每秒钟处理 5 万
造就Redis高性能的三个因素
Jonny_han的博客
07-15 4342
1、纯内存访问，Redis将所有数据放在内存中，内存的响应时间大约为100纳秒，这时Redis达到每秒万级别访问的重要基础；2、非阻塞I/O，Redis使用epoll作为I/O多路复用技术的实现，在加上Redis自身的事件处理模型将epoll中的链接、读写、关闭都转换为事件，不在网络I/O上浪费过多的时间；3、单线程避免了线程切换和竞态产生的消耗。In a word，纯内存存储、IO多路复用技术、...
为什么Redis选择跳表来实现有序集合？——数据结构与算法之美
总之，跳表是一种性能优秀的动态数据结构，可以支持快速的插入、删除和查找操作。通过建立多级索引，跳表实现了空间换时间的设计思路，提高了查找的效率。Redis选择使用跳表来实现有序集合，而不是红黑树，是因为...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yemuxiaweiliang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值