Redis学习01

NoSQL数据库的简介

技术的分类

解决功能性的问题:Java、Jsp、RDBMS、Tomcat、HTML、Linux、JDBC、SVN

解决扩展性的问题:Struts、Spring、SpringMVC、Hibernate、Mybatis

解决性能的问题:NoSQL、Java线程、Hadoop、Nginx、MQ、ElasticSearch

NoSQL数据库

概述

NoSQL = not only sql，泛指非关系型的数据库

NoSQL不依赖业务逻辑方式存储，而以简单的 key-value模式存储。因此大大的增加了数据库的

扩展能力。

• 不遵循SQL标准
• 不支持ACID
• 远超于SQL的性能

适用场景

• 对数据高并发的读写
• 海量数据的读写
• 对数据高高可扩展性的

不适用场景

• 需要事务支持
• 基于sql的结构化查询存储，处理复杂的关系,需要即席查询
• 用不着sql的和用了sql也不行的情况，请考虑用NoSql )

Memcache

很早出现的NoSql数据库
数据都在内存中，一般不持久化
支持简单的key-value模式，支持类型单一
一般是作为缓存数据库辅助持久化的数据库。

Redis

几乎覆盖了Memcached的绝大部分功能
数据都在内存中，支持持久化，主要用作备份恢复
除了支持简单的key-value模式，还支持多种数据结构的存储，比如 list、 set、 hash、 zset等。
一般是作为缓存数据库辅助持久化的数据库

MongoDB

高性能、开源、模式自由(schema free)的文档型数据库
数据都在内存中，如果内存不足，把不常用的数据保存到硬盘。
虽然是 key-value模式，但是对value(尤其是json)提供了丰富的查询功能
支持二进制数据及大型对象
可以根据数据的特点替代RDBMS ，成为独立的数据库。或者配合 RDBMS，存储特定的数据。

Hbase

HBase是Hadoop项目中的数据库。它用于需要对大量的数据进行随机、实时的读写操作的场景中。

Cassandra

Apache Cassandra是一款免费的开源NoSQL数据库，其设计目的在于管理由大量商用服务器构建起来的庞大集群上的海量数据集(数据量通常达到PB级别)。在众多显著特性当中，Cassandra最为卓越的长处是对写入及读取操作进行规模调整，而且其不强调主集群的设计思路能够以相对直观的方式简化各集群的创建与扩展流程。

Redis6的安装

Redis 是一个开源的 key-value 存储系统。

和 Memcached 类似，它支持存储的 value 类型相对更多，包括 string (字符串)、list (链表)、set (集合)、zset (sorted set –有序集合) 和 hash（哈希类型）。

这些数据类型都支持 push/pop、add/remove 及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。

在此基础上，Redis 支持各种不同方式的排序。

与 memcached 一样，为了保证效率，数据都是缓存在内存中。

区别的是 Redis 会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件。

并且在此基础上实现了 master-slave (主从) 同步。

应用场景

配合关系型数据库做高速缓存

• 高频次，热门访问的数据，降低数据库 IO。

• 分布式架构，做 session 共享。

多样的数据结构存储持久化数据

安装步骤

下载好redis的压缩包，使用Xftp上传到linux中

先ls查看一下

gcc --version查看gcc版本
[root@jinx100 ~]# gcc --version
bash: gcc: 未找到命令...
安装gcc
yum install gcc
再次输入gcc --version
[root@jinx100 ~]# gcc --version
gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-44)
Copyright ? 2015 Free Software Foundation, Inc.
本程序是自由软件；请参看源代码的版权声明。本软件没有任何担保；
包括没有适销性和某一专用目的下的适用性担保。
解压
[root@jinx100 ~]# tar -zxvf redis-stack-server-6.2.2-v4.rhel7.x86_64.tar.gz 
make编译
[root@jinx100 ~]# make
make: *** 没有指明目标并且找不到 makefile。 停止。
报错解决半天

解决方法((42条消息) Redis在liunx中make报错_等待救赎的波的博客-CSDN博客)

安装
make install

默认安装在 /usr/local/bin下

[root@jinx100 redis-6.0.1]# cd /usr/local/bin
[root@jinx100 bin]# ls -l
总用量 45888
-rwxr-xr-x. 1 root root  6398216 6月  27 21:48 redis-benchmark
-rwxr-xr-x. 1 root root 11286584 6月  27 21:48 redis-check-aof
-rwxr-xr-x. 1 root root 11286584 6月  27 21:48 redis-check-rdb
-rwxr-xr-x. 1 root root  6721224 6月  27 21:48 redis-cli
lrwxrwxrwx. 1 root root       12 6月  27 21:48 redis-sentinel -> redis-server
-rwxr-xr-x. 1 root root 11286584 6月  27 21:48 redis-server

目录介绍

redis-benchmark:性能测试工具，可以在自己本子运行，看看自己本子性能如何
redis-check-aof：修复有问题的 AOF 文件，rdb 和 aof 后面讲
redis-check-dump：修复有问题的 dump.rdb 文件
redis-sentinel：Redis 集群使用
redis-server：Redis 服务器启动命令
redis-cli：客户端，操作入口

前台启动(不推荐)

注意没有空格

redis-server

后台启动

备份 redis.conf

拷贝一份 redis.conf 到其他目录
[root@jinx100 local]# cd redis-6.0.1/
[root@jinx100 redis-6.0.1]# cp redis.conf /etc/redis.conf

到对应目录下查看

[root@jinx100 redis-6.0.1]# cd /etc/
[root@jinx100 etc]# ls | grep .conf

后台启动设置 daemonize no 改成 yes

[root@jinx100 bin]# vim /etc/redis.conf 

Redis 启动

[root@jinx100 bin]# redis-server /etc/redis.conf 
7942:C 27 Jun 2022 22:02:04.405 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
7942:C 27 Jun 2022 22:02:04.405 # Redis version=6.0.1, bits=64, commit=00000000, modified=0, pid=7942, just started
7942:C 27 Jun 2022 22:02:04.405 # Configuration loaded
[root@jinx100 bin]# ps -ef | grep redis
root       7943      1  0 22:02 ?        00:00:00 redis-server 127.0.0.1:6379
root       7949   3175  0 22:02 pts/0    00:00:00 grep --color=auto redis

用客户端访问

[root@jinx100 bin]# redis-cli
127.0.0.1:6379> ping
PONG

输入redis-cli shutdown关闭或者kill进程

多实例关闭，指定端口关闭：redis-cli -p 6379 shutdown

Redis 相关知识

端口6379从何而来

Alessia Merz

默认16个数据库，类似数组下标从0开始，初始默认使用0号库
使用命令 select   <dbid>来切换数据库。如: select 8 
统一密码管理，所有库同样密码。
dbsize查看当前数据库的key的数量
flushdb清空当前库
flushall通杀全部库

Redis是单线程+多路IO复用技术
多路复用是指使用一个线程来检查多个文件描述符（Socket）的就绪状态，比如调用select和
poll函数，传入多个文件描述符，如果有一个文件描述符就绪，则返回，否则阻塞直到超时。得
到就绪状态后进行真正的操作可以在同一个线程里执行，也可以启动线程执行（比如使用线池）

串行 vs 多线程+锁（memcached） vs 单线程+多路IO复用(Redis)

``（与Memcache三点不同: 支持多数据类型，支持持久化，单线程+多路IO复用） `

常用五大数据类型

哪里去获得redis常见数据类型操作命令http://www.redis.cn/commands.html

Redis键(key)
keys *查看当前库所有key    (匹配：keys *1)
exists key判断某个key是否存在
type key 查看你的key是什么类型
del key       删除指定的key数据
unlink key   根据value选择非阻塞删除
仅将keys从keyspace元数据中删除，真正的删除会在后续异步操作。
expire key 10   10秒钟：为给定的key设置过期时间
ttl key 查看还有多少秒过期，-1表示永不过期，-2表示已过期

select命令切换数据库
dbsize查看当前数据库的key的数量
flushdb清空当前库
flushall通杀全部库

Redis 字符串(String)

• String是Redis最基本的类型，你可以理解成与Memcached一模一样的类型，一个key对应一个value。

• String类型是二进制安全的。意味着Redis的string可以包含任何数据。比如jpg图片或者序列化的对象。

• String类型是Redis最基本的数据类型，一个Redis中字符串value最多可以是512M

常用命令

set   <key><value>添加键值对

*NX：当数据库中key不存在时，可以将key-value添加数据库
*XX：当数据库中key存在时，可以将key-value添加数据库，与NX参数互斥
*EX：key的超时秒数
*PX：key的超时毫秒数，与EX互斥

get   <key>查询对应键值
append  <key><value>将给定的<value> 追加到原值的末尾
strlen  <key>获得值的长度
setnx  <key><value>只有在 key 不存在时    设置 key 的值

incr  <key>
将 key 中储存的数字值增1
只能对数字值操作，如果为空，新增值为1
decr  <key>
将 key 中储存的数字值减1
只能对数字值操作，如果为空，新增值为-1
incrby / decrby  <key><步长>将 key 中储存的数字值增减。自定义步长。
127.0.0.1:6379> incrby k4 10
(integer) 511
127.0.0.1:6379> decrby k4 20

原子性

所谓原子操作是指不会被线程调度机制打断的操作；
这种操作一旦开始，就一直运行到结束，中间不会有任何 context switch （切换到另一个线程）。
（1）在单线程中， 能够在单条指令中完成的操作都可以认为是"原子操作"，因为中断只能发生于指令之间。
（2）在多线程中，不能被其它进程（线程）打断的操作就叫原子操作。
Redis单命令的原子性主要得益于Redis的单线程。

不是

2-200

mset  <key1><value1><key2><value2>  ..... 
mset k1 v1 k2 v2
同时设置一个或多个 key-value对  
mget  <key1><key2><key3> .....
同时获取一个或多个 value  
msetnx <key1><value1><key2><value2>  ..... 
同时设置一个或多个 key-value 对，当且仅当所有给定 key 都不存在。
原子性，有一个失败则都失败

getrange  <key><起始位置><结束位置>
获得值的范围，类似java中的substring，前包，后包
setrange  <key><起始位置><value>
用 <value>  覆写<key>所储存的字符串值，从<起始位置>开始(索引从0开始)。

setex  <key><过期时间><value>
设置键值的同时，设置过期时间，单位秒。
getset <key><value>
以新换旧，设置了新值同时获得旧值。

数据结构

String的数据结构为简单动态字符串(Simple Dynamic String,缩写SDS)。是可以修改的字符串，内部结构实现上类似于Java的ArrayList，采用预分配冗余空间的方式来减少内存的频繁分配

如图中所示，内部为当前字符串实际分配的空间capacity一般要高于实际字符串长度len。当字符串长度小于1M时，扩容都是加倍现有的空间，如果超过1M，扩容时一次只会多扩1M的空间。需要注意的是字符串最大长度为512M。

Redis列表（List）

简介

单键多值

Redis 列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素到列表的头部（左边）或者尾部（右边）。

它的底层实际是个双向链表，对两端的操作性能很高，通过索引下标的操作中间的节点性能会较差。

常用命令

lpush/rpush  <key><value1><value2><value3> .... 从左边/右边插入一个或多个值。
lpop/rpop  <key>从左边/右边吐出一个值。值在键在，值亡键亡。

rpoplpush  <key1><key2>从<key1>列表右边吐出一个值，插到<key2>列表左边。

lrange <key><start><stop>
按照索引下标获得元素(从左到右)
lrange mylist 0 -1   0左边第一个，-1右边第一个，（0-1表示获取所有）
lindex <key><index>按照索引下标获得元素(从左到右)
llen <key>获得列表长度 

linsert <key>  before <value><newvalue>在<value>的前面插入<newvalue>插入值
linsert <key>  after <value><newvalue>在<value>的后面插入<newvalue>插入值
lrem <key><n><value>从左边删除n个value(从左到右)
lset <key><index><value>将列表key下标为index的值替换成value

127.0.0.1:6379> lpush k1 v1 v2 v3
(integer) 3
127.0.0.1:6379> lrange k1 0 -1
1) "v3"
2) "v2"
3) "v1"

127.0.0.1:6379> rpush k2 v1 v2 v3
(integer) 3
127.0.0.1:6379> lrange k2 0 -1
1) "v1"
2) "v2"
3) "v3"

127.0.0.1:6379> lpop k1
"v3"
127.0.0.1:6379> rpop k2
"v3"

数据结构

List的数据结构为快速链表quickList。

首先在列表元素较少的情况下会使用一块连续的内存存储，这个结构是ziplist，也即是压缩列表。

它将所有的元素紧挨着一起存储，分配的是一块连续的内存。

当数据量比较多的时候才会改成quicklist。

因为普通的链表需要的附加指针空间太大，会比较浪费空间。比如这个列表里存的只是int类型的数据，结构上还需要两个额外的指针prev和next。

Redis将链表和ziplist结合起来组成了quicklist。也就是将多个ziplist使用双向指针串起来使用。这样既满足了快速的插入删除性能，又不会出现太大的空间冗余。

Redis（Set集合）

Redis set对外提供的功能与list类似是一个列表的功能，特殊之处在于set是可以自动排重的，当你需要存储一个列表数据，又不希望出现重复数据时，set是一个很好的选择，并且set提供了判断某个成员是否在一个set集合内的重要接口，这个也是list所不能提供的。

Redis的Set是string类型的无序集合。它底层其实是一个value为null的hash表，所以添加，删除，查找的复杂度都是O(1)

一个算法，随着数据的增加，执行时间的长短，如果是O(1)，数据增加，查找数据的时间不变

常用命令

sadd <key><value1><value2> ..... 
将一个或多个 member 元素加入到集合 key 中，已经存在的 member 元素将被忽略
smembers <key>取出该集合的所有值。
sismember <key><value>判断集合<key>是否为含有该<value>值，有1，没有0
scard<key>返回该集合的元素个数。
srem <key><value1><value2> .... 删除集合中的某个元素。
spop <key>随机从该集合中吐出一个值。取出来就没了
srandmember <key><n>随机从该集合中取出n个值。不会从集合中删除 。
smove <source><destination><value>把集合中一个值从一个集合移动到另一个集合，从前面移到后面
sinter <key1><key2>返回两个集合的交集元素。
sunion <key1><key2>返回两个集合的并集元素。
sdiff <key1><key2>返回两个集合的差集元素(key1中的，不包含key2中的)

数据结构

Set数据结构是dict字典，字典是用哈希表实现的。

Java中HashSet的内部实现使用的是HashMap，只不过所有的value都指向同一个对象。Redis的set结构也是一样，它的内部也使用hash结构，所有的value都指向同一个内部值。

Redis哈希（Hash）

Redis hash 是一个键值对集合。
Redis hash是一个string类型的field和value的映射表，hash特别适合用于存储对象。
类似Java里面的Map<String,Object>
用户ID为查找的key，存储的value用户对象包含姓名，年龄，生日等信息，如果用普通的key/value结构来存储
主要有以下2种存储方式：

常用命令

hset <key><field><value>给<key>集合中的  <field>键赋值<value>
hget <key1><field>从<key1>集合<field>取出 value 
hmset <key1><field1><value1><field2><value2>... 批量设置hash的值
hexists<key1><field>查看哈希表 key 中，给定域 field 是否存在。 
hkeys <key>列出该hash集合的所有field
hvals <key>列出该hash集合的所有value
hincrby <key><field><increment>为哈希表 key 中的域 field 的值加上增量 1   -1
hsetnx <key><field><value>将哈希表 key 中的域 field 的值设置为 value ，当且仅当域 field 不存在 

数据结构

Hash类型对应的数据结构是两种：ziplist（压缩列表），hashtable（哈希表）。当field-value长度较短且个数较少时，使用ziplist，否则使用hashtable。

Redis 有序集合 Zset（sorted set）

Redis有序集合zset与普通集合set非常相似，是一个没有重复元素的字符串集合。

不同之处是有序集合的每个成员都关联了一个评分（score）,这个评分（score）被用来按照从最低分到最高分的方式排序集合中的成员。集合的成员是唯一的，但是评分可以是重复了 。

因为元素是有序的, 所以你也可以很快的根据评分（score）或者次序（position）来获取一个范围的元素。

访问有序集合的中间元素也是非常快的,因此你能够使用有序集合作为一个没有重复成员的智能列表。

常用命令

zadd  <key><score1><value1><score2><value2>…
将一个或多个 member 元素及其 score 值加入到有序集 key 当中。
zrange <key><start><stop>  [WITHSCORES]   
返回有序集 key 中，下标在<start><stop>之间的元素
带WITHSCORES，可以让分数一起和值返回到结果集。
zrangebyscore key min max [withscores] [limit offset count]
返回有序集 key 中，所有 score 值介于 min 和 max 之间(包括等于 min 或 max )的成员。有序集成员按 score 值递增(从小到大)次序排列。 
zrevrangebyscore key max min [withscores] [limit offset count]               
同上，改为从大到小排列。 
zincrby <key><increment><value>      为元素的score加上增量
zrem  <key><value>删除该集合下，指定值的元素 
zcount <key><min><max>统计该集合，分数区间内的元素个数 
zrank <key><value>返回该值在集合中的排名，从0开始。

数据结构

SortedSet(zset)是Redis提供的一个非常特别的数据结构，一方面它等价于Java的数据结构Map<String, Double>，可以给每一个元素value赋予一个权重score，另一方面它又类似于TreeSet，内部的元素会按照权重score进行排序，可以得到每个元素的名次，还可以通过score的范围来获取元素的列表。

zset底层使用了两个数据结构

（1）hash，hash的作用就是关联元素value和权重score，保障元素value的唯一性，可以通过元素value找到相应的score值。

（2）跳跃表，跳跃表的目的在于给元素value排序，根据score的范围获取元素列表。

跳跃表

有序集合在生活中比较常见，例如根据成绩对学生排名，根据得分对玩家排名等。对于有序集合的底层实现，可以用数组、平衡树、链表等。数组不便元素的插入、删除；平衡树或红黑树虽然效率高但结构复杂；链表查询需要遍历所有效率低。Redis采用的是跳跃表。跳跃表效率堪比红黑树，实现远比红黑树简单。

对比有序链表和跳跃表，从链表中查询出51

有序链表

要查找值为51的元素，需要从第一个元素开始依次查找、比较才能找到。共需要6次比较。

跳跃表

从第2层开始，1节点比51节点小，向后比较。
21节点比51节点小，继续向后比较，后面就是NULL了，所以从21节点向下到第1层
在第1层，41节点比51节点小，继续向后，61节点比51节点大，所以从41向下
在第0层，51节点为要查找的节点，节点被找到，共查找4次。

从此可以看出跳跃表比有序链表效率要高