一、Redis简介
1.1 NoSQL
NoSQL,泛指非关系型数据库,NoSQL数据库分为四大类:键值存储数据库(Redis,Voldemort,Oracle BDB)、列存储数据库(HBase,Riak)、文档型数据库(CouchDB,MongoDB)、图形数据库(Neo4J,InfoGrid,Infinite Graph)。
1.2 非关系型数据库特点
- 数据模型比较简单
- 需要灵活性更强的IT系统
- 对数据库性能要求较高
- 不需要高度的数据一致性
- 对于给定key,比较容易映射复杂值的环境
1.3 Redis
是以key-value形式存储,和传统的关系型数据库不一样,不一定遵循传统数据库的一些基本要求。
优点:
- 对数据高并发读写
- 对海量数据的高效率存储和访问
- 对数据的可扩展性和高可用性
缺点:
- Redis(ACID处理非常简单)
- 无法做到太复杂的关系数据库模型
Redis是以key-value存储的,键可以包含:字符串(string)、哈希、链表(list)、集合(set)、有序集合(zet)。这些数据集合都支持push/pop、add/remove及取交集和并集以及更丰富的操作,Redis支持各种不同的方式排序,为了保证效率,数据都是缓存在内存中,它可以周期性的把更新的数据写入磁盘或者把修改操作写入追加到文件。
Redis有三种集群方式,主从模式、哨兵模式、集群模式。
二、Redis安装与部署
首先说明一下,以下安装是在CentOS 7环境下进行的。
安装步骤:
-
首先需要安装gcc,把下载好的redis-4.0.1.tar.gz 放到自己指定的文件夹下(/usr/software)
- 进行解压,将Redis解压到/usr/local/文件夹下
[root@localhost software]# tar -zxvf redis-4.0.1.tar.gz -C /usr/local/
-
进入到redis-4.0.1目录下,进行编译make
[root@localhost local]# cd redis-4.0.1/
[root@localhost redis-4.0.1]# make
-
进入到src下进行安装 make install 验证(ll 查看src下的目录,有redis-server 、redis-cil即可)
[root@localhost redis-4.0.1]# cd src/
[root@localhost src]# make install
-
建立俩个文件夹存放redis命令和配置文件
[root@localhost local]# mkdir -p /usr/local/redis/etc [root@localhost local]# mkdir -p /usr/local/redis/bin
-
把redis-4.0.1下的redis.conf 复制到/usr/local/redis/etc下
[root@localhost local]# cp /usr/local/redis-4.0.1/redis.conf /usr/local/redis/etc/
-
把redis-4.0.1/src里的mkreleasehdr.sh、redis-benchmark、redis-check-aof、redis-check-dump、redis-cli、redis-server
文件移动到bin下
[root@localhost local]# cd redis-4.0.1/src/ [root@localhost src]# mv mkreleasehdr.sh redis-benchmark redis-check-aof redis-check-rdb redis-cli redis-server /usr/local/redis/bin
-
启动时并指定配置文件:./redis-server /usr/local/redis/etc/redis.conf(注意要使用后台启动,所以修改redis.conf里的 daemonize 改为yes)
[root@localhost local]# /usr/local/redis/bin/redis-server /usr/local/redis/etc/redis.conf
或者进入/usr/local/redis/bin/目录下
[root@localhost local]# ./redis-server /usr/local/redis/etc/redis.conf
前台启动成功:
进入/usr/local/redis/etc/目录下,修改redis.conf配置文件,将daemonize选项改为yes,表示默认为后台启动
################################# GENERAL ##################################### # By default Redis does not run as a daemon. Use 'yes' if you need it. # Note that Redis will write a pid file in /var/run/redis.pid when daemonized. daemonize yes
设置将数据文件放到指定的目录文件夹:
# The filename where to dump the DB dbfilename dump.rdb # The working directory. # # The DB will be written inside this directory, with the filename specified # above using the 'dbfilename' configuration directive. # # The Append Only File will also be created inside this directory. # # Note that you must specify a directory here, not a file name. dir /usr/local/redis/etc/
- 再次启动,则为后台启动
[root@localhost local]# cd redis/bin/ [root@localhost bin]# ./redis-server /usr/local/redis/etc/redis.conf 13322:C 19 Aug 09:37:02.450 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo 13322:C 19 Aug 09:37:02.450 # Redis version=4.0.1, bits=64, commit=00000000, modified=0, pid=13322, just started 13322:C 19 Aug 09:37:02.450 # Configuration loaded [root@localhost bin]#
-
使用命令 ps -ef | grep redis 查看是否有redis服务 或者 查看端口:netstat -tunpl | grep 6379
[root@localhost bin]# ps -ef|grep 6379 root 13323 1 0 09:37 ? 00:00:00 ./redis-server 127.0.0.1:6379 root 13345 2732 0 09:38 pts/0 00:00:00 grep --color=auto 6379
只要显示为以上情况则为启动成功。
-
进入redis客户端 ./redis-cli 退出客户端quit
[root@localhost bin]# ./redis-cli 127.0.0.1:6379>
-
退出redis服务
(1)pkill redis-server
(2)kill 进程号
(3)/usr/local/redis/bin/redis-cli shutdown
三、使用Redis Desktop Manager连接Redis
如果就以上面的配置情况使用Desktop Manager连接Redis的话,发现根本连接不上:
1、因为Redis默认端口是6379,所以首先查看6379端口是否开启
[root@localhost bin]# firewall-cmd --query-port=6379/tcp yes
如果返回结果为no,那么证明6379端口确实没有开启,需要使用命令开启6379端口
[root@localhost bin]# firewall-cmd --add-port=6379/tcp success
返回success表示已经成功开启该端口。
2、修改redis.conf配置文件,注释掉 bind 127.0.0.1以及设置自己的密码 requirepass "root",这里的密码是自己随便设置的。
################################## NETWORK ##################################### # By default, if no "bind" configuration directive is specified, Redis listens # for connections from all the network interfaces available on the server. # It is possible to listen to just one or multiple selected interfaces using # the "bind" configuration directive, followed by one or more IP addresses. # # Examples: # # bind 192.168.1.100 10.0.0.1 # bind 127.0.0.1 ::1
################################## SECURITY ################################### # Require clients to issue AUTH <PASSWORD> before processing any other # commands. This might be useful in environments in which you do not trust # others with access to the host running redis-server. # # This should stay commented out for backward compatibility and because most # people do not need auth (e.g. they run their own servers). # # Warning: since Redis is pretty fast an outside user can try up to # 150k passwords per second against a good box. This means that you should # use a very strong password otherwise it will be very easy to break. # requirepass "root"
注:设置密码 为了安全一定要设,而且这里如果不绑定ip也不设密码的话,redis是默认保护模式,只能本虚拟机访问,不允许其他ip访问
重新启动Redis服务
[root@localhost bin]# ./redis-server /usr/local/redis/etc/redis.conf
再次使用Redis Desktop Manager 连接Redis服务,可以成功连接。
但是现在又会有另外一个问题,当我们想使用 ./redis-cli命令登陆客户端使用Redis命令时,发现会没有权限操作。
[root@localhost bin]# ./redis-cli 127.0.0.1:6379> keys * (error) NOAUTH Authentication required. 127.0.0.1:6379>
这是因为我们给Redis添加了密码保护,需要输入密码登陆才能对其进行操作。
方式一:
[root@localhost bin]# ./redis-cli -a root 127.0.0.1:6379> keys * (empty list or set) 127.0.0.1:6379>
方式二:
[root@localhost bin]# ./redis-cli 127.0.0.1:6379> auth root OK 127.0.0.1:6379> keys * (empty list or set) 127.0.0.1:6379>
到此为止,使用Redis Desktop Manager连接Redis的问题已经全部解决。
redis.conf 的配置信息
1、daemonize 如果需要在后台运行,把该项改为yes
2、pidfile 配置多个pid的地址 默认在/var/run/redis.pid
3、bind 绑定ip,设置后只接受来自该ip的请求
4、port 监听端口,默认是6379
5、loglevel 分为4个等级:debug verbose notice warning
6、logfile 用于配置log文件地址
7、databases 设置数据库个数,默认使用的数据库为0
8、save 设置redis进行数据库镜像的频率。
9、rdbcompression 在进行镜像备份时,是否进行压缩
10、dbfilename 镜像备份文件的文件名
11、Dir 数据库镜像备份的文件放置路径
12、Slaveof 设置数据库为其他数据库的从数据库
13、Masterauth 主数据库连接需要的密码验证
14、Requriepass 设置 登陆时需要使用密码
15、Maxclients 限制同时使用的客户数量
16、Maxmemory 设置redis能够使用的最大内存
17、Appendonly 开启append only模式
18、Appendfsync 设置对appendonly.aof文件同步的频率(对数据进行备份的第二种方式)
19、vm-enabled 是否开启虚拟内存支持 (vm开头的参数都是配置虚拟内存的)
20、vm-swap-file 设置虚拟内存的交换文件路径
21、vm-max-memory 设置redis使用的最大物理内存大小
22、vm-page-size 设置虚拟内存的页大小
23、vm-pages 设置交换文件的总的page数量
24、vm-max-threads 设置VM IO同时使用的线程数量
25、Glueoutputbuf 把小的输出缓存存放在一起
26、hash-max-zipmap-entries 设置hash的临界值
27、Activerehashing 重新hash
四、Redis集群搭建
第一步:创建文件夹
在/usr/local下,创建存放redis集群的文件夹(redis-cluster)
[root@localhost local]# mkdir redis-cluster [root@localhost local]# cd redis-cluster/
然后进入redis-cluster文件夹下创建留个集群文件夹,分别存放各个节点自己的配置文件
[root@localhost local]# cd redis-cluster/ [root@localhost redis-cluster]# mkdir 7001 [root@localhost redis-cluster]# mkdir 7002 [root@localhost redis-cluster]# mkdir 7003 [root@localhost redis-cluster]# mkdir 7004 [root@localhost redis-cluster]# mkdir 7005 [root@localhost redis-cluster]# mkdir 7006 [root@localhost redis-cluster]# ls 7001 7002 7003 7004 7005 7006
第二步:修改配置文件
拷贝redis.conf配置文件到 700* 文件夹中:
[root@localhost redis-cluster]# cd ../redis-4.0.1/ [root@localhost 7001]# cp redis.conf /usr/local/redis-cluster/7001 [root@localhost 7001]# cp redis.conf /usr/local/redis-cluster/7002 [root@localhost 7001]# cp redis.conf /usr/local/redis-cluster/7003 [root@localhost 7001]# cp redis.conf /usr/local/redis-cluster/7004 [root@localhost 7001]# cp redis.conf /usr/local/redis-cluster/7005 [root@localhost 7001]# cp redis.conf /usr/local/redis-cluster/7006
修改配置文件:
- daemonize yes
- port 700* (分别对每台机器的端口进行设置)
- bind 192.168.1.122 (必须要绑定当前机器的ip)
- dir /usr/local/redis-cluster/700*/ (指定数据文件存放位置,必须要指定不同的目录位置,不然会丢失数据)
- cluster-enabled yes(启动集群模式)
- cluster-config-file nodes-700*.conf(这里700*最好和port对应上)
- cluster-node-timeout 5000
- appendonly yes
第三步:修改各个对应结点的配置文件
按照以上的配置,修改对应的ip和port(700*)端口号和cluster-config-file nodes-700*.conf配置文件即可。
第四步:由于redis集群需要使用ruby命令,所以我们需要安装ruby
[root@localhost redis-cluster]# yum install ruby [root@localhost redis-cluster]# yum install rubygems [root@localhost redis-cluster]# gem install redis
第五步:分别启动6个redis实例,然后检查是否启动成功
[root@localhost local]# /usr/local/redis/bin/redis-server /usr/local/redis-cluster/700*/redis.conf
查看是否启动成功
[root@localhost local]# ps aux|grep redis
第六步:首先到redis4.0.1的安装目录下,然后执行redis-trib.rb命令
[root@localhost local]# cd redis-4.0.1/src/ [root@localhost src]# ./redis-trib.rb create --replicas 1 192.168.1.122:7001 192.168.1.122:7002 192.168.1.122:7003 192.168.1.122:7004 192.168.1.122:7005 192.168.1.122:7006
第七步:进行验证
- 连接任意一个客户端即可:./redis-cli -c -h -p(-c表示集群模式,指定IP地址和端口号),如:/usr/local/redis/bin/redis-cli -c -h 192.168.1.122 -p 700*
- 进行验证cluster info(查看集群信息)、cluster nodes(查看节点列表)
- 进行数据操作验证
- 关闭集群则需要逐个关闭,使用命令:
[root@localhost 7001]# /usr/local/redis/bin/redis-cli -c -h 192.168.1.122 -p 700* shutdown
友情提示:当出现集群无法启动时,删除临时的数据文件,再次重新启动每一个redis服务,然后重新构造集群环境。
第八步:创建快速启动脚本和快速关闭脚本
创建快速全部开启脚本 startall.sh:
[root@localhost redis-cluster]# vim startall.sh cd /usr/local/redis/bin/redis-server ./redis-server /usr/local/redis-cluster/7001/redis.conf cd /usr/local/redis/bin/redis-server ./redis-server /usr/local/redis-cluster/7002/redis.conf cd /usr/local/redis/bin/redis-server ./redis-server /usr/local/redis-cluster/7003/redis.conf cd /usr/local/redis/bin/redis-server ./redis-server /usr/local/redis-cluster/7004/redis.conf cd /usr/local/redis/bin/redis-server ./redis-server /usr/local/redis-cluster/7005/redis.conf cd /usr/local/redis/bin/redis-server ./redis-server /usr/local/redis-cluster/7006/redis.conf
创建快速全部关闭脚本shutdown.sh:
[root@localhost redis-cluster]# vim shutdown.sh cd /usr/local/redis/bin/ redis-cli -p 7001 shutdown redis-cli -p 7002 shutdown redis-cli -p 7003 shutdown redis-cli -p 7004 shutdown redis-cli -p 7005 shutdown redis-cli -p 7006 shutdown
给两个新建的脚本赋可执行权限:
[root@localhost redis-cluster]# chmod +x startall.sh [root@localhost redis-cluster]# chmod +x shutdown.sh
之后直接启动脚本即可:
[root@localhost redis-cluster]# ./startall.sh [root@localhost redis-cluster]# ./shutdown.sh
五、Redis基础数据类型详解
参考:https://www.cnblogs.com/lizhenghn/p/5322887.html
Redis目前支持5种数据类型,分别是:
- String(字符串)
- List(列表)
- Hash(字典)
- Set(集合)
- Sorted Set(有序集合)
1、String(字符串)
String是简单的 key-value 键值对,value 不仅可以是 String,也可以是数字。String在redis内部存储默认就是一个字符串,被redisObject所引用,当遇到incr,decr等操作时会转成数值型进行计算,此时redisObject的encoding字段为int。
String在redis内部存储默认就是一个字符串,被redisObject所引用,当遇到incr,decr等操作时会转成数值型进行计算,此时redisObject的encoding字段为int。
应用场景
String是最常用的一种数据类型,普通的key/value存储都可以归为此类,这里就不所做解释了。
相关命令
SET key value 设置key=value GET key 或者键key对应的值 GETRANGE key start end 得到字符串的子字符串存放在一个键 GETSET key value 设置键的字符串值,并返回旧值 GETBIT key offset 返回存储在键位值的字符串值的偏移 MGET key1 [key2..] 得到所有的给定键的值 SETBIT key offset value 设置或清除该位在存储在键的字符串值偏移 SETEX key seconds value 键到期时设置值 SETNX key value 设置键的值,只有当该键不存在 SETRANGE key offset value 覆盖字符串的一部分从指定键的偏移 STRLEN key 得到存储在键的值的长度 MSET key value [key value...] 设置多个键和多个值 MSETNX key value [key value...] 设置多个键多个值,只有在当没有按键的存在时 PSETEX key milliseconds value 设置键的毫秒值和到期时间 INCR key 增加键的整数值一次 INCRBY key increment 由给定的数量递增键的整数值 INCRBYFLOAT key increment 由给定的数量递增键的浮点值 DECR key 递减键一次的整数值 DECRBY key decrement 由给定数目递减键的整数值 APPEND key value 追加值到一个键
使用示例
redis 127.0.0.1:6379> set baidu http://www.baidu OK redis 127.0.0.1:6379> append baidu .com (integer) 20 redis 127.0.0.1:6379> get baidu "http://www.baidu.com" redis 127.0.0.1:6379> set visitors 0 OK redis 127.0.0.1:6379> incr visitors (integer) 1 redis 127.0.0.1:6379> incr visitors (integer) 2 redis 127.0.0.1:6379> get visitors "2" redis 127.0.0.1:6379> incrby visitors 100 (integer) 102 redis 127.0.0.1:6379> get visitors "102" redis 127.0.0.1:6379> type baidu string redis 127.0.0.1:6379> type visitors string redis 127.0.0.1:6379> ttl baidu (integer) -1 redis 127.0.0.1:6379> rename baidu baidu-site OK redis 127.0.0.1:6379> get baidu (nil) redis 127.0.0.1:6379> get baidu-site "http://www.baidu.com"
2、Hash(哈希)
Redis Hash对应Value内部实际就是一个HashMap,实际这里会有2种不同实现,这个Hash的成员比较少时Redis为了节省内存会采用类似一维数组的方式来紧凑存储,而不会采用真正的HashMap结构,对应的value redisObject的encoding为zipmap,当成员数量增大时会自动转成真正的HashMap,此时encoding为ht。
应用场景
假设有多个用户及对应的用户信息,可以用来存储以用户ID为key,将用户信息序列化为比如json格式做为value进行保存。
相关命令
HDEL key field[field...] 删除对象的一个或几个属性域,不存在的属性将被忽略
HEXISTS key field 查看对象是否存在该属性域
HGET key field 获取对象中该field属性域的值
HGETALL key 获取对象的所有属性域和值
HINCRBY key field value 将该对象中指定域的值增加给定的value,原子自增操作,只能是integer的属性值可以使用
HINCRBYFLOAT key field increment 将该对象中指定域的值增加给定的浮点数
HKEYS key 获取对象的所有属性字段
HVALS key 获取对象的所有属性值
HLEN key 获取对象的所有属性字段的总数
HMGET key field[field...] 获取对象的一个或多个指定字段的值
HSET key field value 设置对象指定字段的值
HMSET key field value [field value ...] 同时设置对象中一个或多个字段的值
HSETNX key field value 只在对象不存在指定的字段时才设置字段的值
HSTRLEN key field 返回对象指定field的value的字符串长度,如果该对象或者field不存在,返回0.
HSCAN key cursor [MATCH pattern] [COUNT count] 类似SCAN命令
使用示例
127.0.0.1:6379> hset person name jack (integer) 1 127.0.0.1:6379> hset person age 20 (integer) 1 127.0.0.1:6379> hset person sex famale (integer) 1 127.0.0.1:6379> hgetall person 1) "name" 2) "jack" 3) "age" 4) "20" 5) "sex" 6) "famale" 127.0.0.1:6379> hkeys person 1) "name" 2) "age" 3) "sex" 127.0.0.1:6379> hvals person 1) "jack" 2) "20" 3) "famale"
3、List(列表)
Redis列表是简单的字符串列表,可以类比到C++中的std::list,简单的说就是一个链表或者说是一个队列。可以从头部或尾部向Redis列表添加元素。列表的最大长度为2^32 - 1,也即每个列表支持超过40亿个元素。
Redis list的实现为一个双向链表,即可以支持反向查找和遍历,更方便操作,不过带来了部分额外的内存开销,Redis内部的很多实现,包括发送缓冲队列等也都是用的这个数据结构。
应用场景
Redis list的应用场景非常多,也是Redis最重要的数据结构之一,比如twitter的关注列表、粉丝列表等都可以用Redis的list结构来实现,再比如有的应用使用Redis的list类型实现一个简单的轻量级消息队列,生产者push,消费者pop/bpop。
相关命令
BLPOP key1 [key2 ] timeout 取出并获取列表中的第一个元素,或阻塞,直到有可用 BRPOP key1 [key2 ] timeout 取出并获取列表中的最后一个元素,或阻塞,直到有可用 BRPOPLPUSH source destination timeout 从列表中弹出一个值,它推到另一个列表并返回它;或阻塞,直到有可用 LINDEX key index 从一个列表其索引获取对应的元素 LINSERT key BEFORE|AFTER pivot value 在列表中的其他元素之后或之前插入一个元素 LLEN key 获取列表的长度 LPOP key 获取并取出列表中的第一个元素 LPUSH key value1 [value2] 在前面加上一个或多个值的列表 LPUSHX key value 在前面加上一个值列表,仅当列表中存在 LRANGE key start stop 从一个列表获取各种元素 LREM key count value 从列表中删除元素 LSET key index value 在列表中的索引设置一个元素的值 LTRIM key start stop 修剪列表到指定的范围内 RPOP key 取出并获取列表中的最后一个元素 RPOPLPUSH source destination 删除最后一个元素的列表,将其附加到另一个列表并返回它 RPUSH key value1 [value2] 添加一个或多个值到列表 RPUSHX key value 添加一个值列表,仅当列表中存在
使用示例
redis 127.0.0.1:6379> lpush list1 redis (integer) 1 redis 127.0.0.1:6379> lpush list1 hello (integer) 2 redis 127.0.0.1:6379> rpush list1 world (integer) 3 redis 127.0.0.1:6379> llen list1 (integer) 3 redis 127.0.0.1:6379> lrange list1 0 3 1) "hello" 2) "redis" 3) "world" redis 127.0.0.1:6379> lpop list1 "hello" redis 127.0.0.1:6379> rpop list1 "world" redis 127.0.0.1:6379> lrange list1 0 3 1) "redis"
4、Set(集合)
可以理解为一堆值不重复的列表,类似数学领域中的集合概念,且Redis也提供了针对集合的求交集、并集、差集等操作。
set 的内部实现是一个 value永远为null的HashMap,实际就是通过计算hash的方式来快速排重的,这也是set能提供判断一个成员是否在集合内的原因。
应用场景
Redis set对外提供的功能与list类似是一个列表的功能,特殊之处在于set是可以自动排重的,当你需要存储一个列表数据,又不希望出现重复数据时,set是一个很好的选择,并且set提供了判断某个成员是否在一个set集合内的重要接口,这个也是list所不能提供的。
又或者在微博应用中,每个用户关注的人存在一个集合中,就很容易实现求两个人的共同好友功能。
相关命令
SADD key member [member ...] 添加一个或者多个元素到集合(set)里
SCARD key 获取集合里面的元素数量
SDIFF key [key ...] 获得队列不存在的元素
SDIFFSTORE destination key [key ...] 获得队列不存在的元素,并存储在一个关键的结果集
SINTER key [key ...] 获得两个集合的交集
SINTERSTORE destination key [key ...] 获得两个集合的交集,并存储在一个集合中
SISMEMBER key member 确定一个给定的值是一个集合的成员
SMEMBERS key 获取集合里面的所有key
SMOVE source destination member 移动集合里面的一个key到另一个集合
SPOP key [count] 获取并删除一个集合里面的元素
SRANDMEMBER key [count] 从集合里面随机获取一个元素
SREM key member [member ...] 从集合里删除一个或多个元素,不存在的元素会被忽略
SUNION key [key ...] 添加多个set元素
SUNIONSTORE destination key [key ...] 合并set元素,并将结果存入新的set里面
SSCAN key cursor [MATCH pattern] [COUNT count] 迭代set里面的元素
使用示例
redis> SADD myset "Hello" (integer) 1 redis> SADD myset "World" (integer) 1 redis> SMEMBERS myset 1) "World" 2) "Hello" redis> SADD myset "one" (integer) 1 redis> SISMEMBER myset "one" (integer) 1 redis> SISMEMBER myset "two" (integer) 0
使用集合数据结构的典型用例是朋友名单的实现:
redis 127.0.0.1:6379> sadd friends:leto ghanima paul chani jessica (integer) 4 redis 127.0.0.1:6379> sadd friends:duncan paul jessica alia (integer) 3 redis 127.0.0.1:6379> sismember friends:leto jessica (integer) 1 #不管一个用户有多少个朋友,我们都能高效地(O(1)时间复杂度)识别出用户X是不是用户Y的朋友 redis 127.0.0.1:6379> sismember friends:leto vladimir (integer) 0 redis 127.0.0.1:6379> sinter friends:leto friends:duncan #我们可以查看两个或更多的人是不是有共同的朋友 1) "paul" 2) "jessica" redis 127.0.0.1:6379> sinterstore friends:leto_duncan friends:leto friends:duncan # 可以在一个新的关键字里存储结果 (integer) 2
5、zset(sorted set:有序集合)
Redis有序集合类似Redis集合,不同的是增加了一个功能,即集合是有序的。一个有序集合的每个成员带有分数,用于进行排序。
Redis有序集合添加、删除和测试的时间复杂度均为O(1)(固定时间,无论里面包含的元素集合的数量)。列表的最大长度为2^32- 1元素(4294967295,超过40亿每个元素的集合)。
Redis sorted set的内部使用HashMap和跳跃表(SkipList)来保证数据的存储和有序,HashMap里放的是成员到score的映射,而跳跃表里存放的是所有的成员,排序依据是HashMap里存的score,使用跳跃表的结构可以获得比较高的查找效率,并且在实现上比较简单。
使用场景
Redis sorted set的使用场景与set类似,区别是set不是自动有序的,而sorted set可以通过用户额外提供一个优先级(score)的参数来为成员排序,并且是插入有序的,即自动排序。当你需要一个有序的并且不重复的集合列表,那么可以选择sorted set数据结构,比如twitter 的public timeline可以以发表时间作为score来存储,这样获取时就是自动按时间排好序的。
又比如用户的积分排行榜需求就可以通过有序集合实现。还有上面介绍的使用List实现轻量级的消息队列,其实也可以通过Sorted Set实现有优先级或按权重的队列。
相关命令
ZADD key score1 member1 [score2 member2] 添加一个或多个成员到有序集合,或者如果它已经存在更新其分数
ZCARD key 得到的有序集合成员的数量
ZCOUNT key min max 计算一个有序集合成员与给定值范围内的分数
ZINCRBY key increment member 在有序集合增加成员的分数
ZINTERSTORE destination numkeys key [key ...] 多重交叉排序集合,并存储生成一个新的键有序集合。
ZLEXCOUNT key min max 计算一个给定的字典范围之间的有序集合成员的数量
ZRANGE key start stop [WITHSCORES] 由索引返回一个成员范围的有序集合(从低到高)
ZRANGEBYLEX key min max [LIMIT offset count]返回一个成员范围的有序集合(由字典范围)
ZRANGEBYSCORE key min max [WITHSCORES] [LIMIT] 返回有序集key中,所有 score 值介于 min 和 max 之间(包括等于 min 或 max )的成员,有序集成员按 score 值递增(从小到大)次序排列
ZRANK key member 确定成员的索引中有序集合
ZREM key member [member ...] 从有序集合中删除一个或多个成员,不存在的成员将被忽略
ZREMRANGEBYLEX key min max 删除所有成员在给定的字典范围之间的有序集合
ZREMRANGEBYRANK key start stop 在给定的索引之内删除所有成员的有序集合
ZREMRANGEBYSCORE key min max 在给定的分数之内删除所有成员的有序集合
ZREVRANGE key start stop [WITHSCORES] 返回一个成员范围的有序集合,通过索引,以分数排序,从高分到低分
ZREVRANGEBYSCORE key max min [WITHSCORES] 返回一个成员范围的有序集合,以socre排序从高到低
ZREVRANK key member 确定一个有序集合成员的索引,以分数排序,从高分到低分
ZSCORE key member 获取给定成员相关联的分数在一个有序集合
ZUNIONSTORE destination numkeys key [key ...] 添加多个集排序,所得排序集合存储在一个新的键
ZSCAN key cursor [MATCH pattern] [COUNT count] 增量迭代排序元素集和相关的分数
使用示例
redis 127.0.0.1:6379> zadd dbs 100 redis (integer) 1 redis 127.0.0.1:6379> zadd dbs 98 memcached (integer) 1 redis 127.0.0.1:6379> zadd dbs 99 mongodb (integer) 1 redis 127.0.0.1:6379> zadd dbs 99 leveldb (integer) 1 redis 127.0.0.1:6379> zcard dbs (integer) 4 redis 127.0.0.1:6379> zcount dbs 10 99 (integer) 3 redis 127.0.0.1:6379> zrank dbs leveldb (integer) 1 redis 127.0.0.1:6379> zrank dbs other (nil) redis 127.0.0.1:6379> zrangebyscore dbs 98 100 1) "memcached" 2) "leveldb" 3) "mongodb" 4) "redis"
六、Redis高级命令
DEL key 如果存在删除键 DUMP key 返回存储在指定键的值的序列化版本 EXISTS key 此命令检查该键是否存在 EXPIRE key seconds 指定键的过期时间 EXPIREAT key timestamp 指定的键过期时间。在这里,时间是在Unix时间戳格式 PEXPIRE key milliseconds 设置键以毫秒为单位到期 PEXPIREAT key milliseconds-timestamp 设置键在Unix时间戳指定为毫秒到期 KEYS pattern 查找与指定模式匹配的所有键 MOVE key db 移动键到另一个数据库 PERSIST key 移除过期的键 PTTL key 以毫秒为单位获取剩余时间的到期键。 TTL key 获取键到期的剩余时间。 RANDOMKEY 从Redis返回随机键 RENAME key newkey 更改键的名称 RENAMENX key newkey 重命名键,如果新的键不存在 TYPE key 返回存储在键的数据类型的值。
七、Redis与Java的使用
1、单机版API测试
package com.taotao.rest.jedis; import java.util.HashMap; import java.util.Iterator; import java.util.List; import java.util.Map; import org.junit.Test; import redis.clients.jedis.Jedis; public class TestRedis { private static Jedis jedis = new Jedis("192.168.1.122", 6379); @Test public void testRedis() { jedis.auth("root"); // 如果设置了密码才需要这一行,没有设置密码则不需要这行 jedis.set("sex", "man"); System.out.println(jedis); List<String> list = jedis.mget("name", "age", "sex"); for (Iterator iterator = list.iterator(); iterator.hasNext();) { String string = (String)iterator.next(); System.out.println(string); } Map<String, String> user = new HashMap<String, String>(); user.put("name", "huangyuxuan"); user.put("age", "0.5"); user.put("sex", "男"); jedis.hmset("user", user); List<String> rsmap = jedis.hmget("user", "name", "age", "sex"); System.out.println(rsmap); jedis.hdel("user", "age"); System.out.println(jedis.hmget("user", "age")); // 因为删除了,所以返回的是null System.out.println(jedis.hlen("user")); // 返回key为user的键中存放的值的个数2 System.out.println(jedis.exists("user"));// 是否存在key为user的记录 返回true System.out.println(jedis.hkeys("user"));// 返回map对象中的所有key System.out.println(jedis.hvals("user"));// 返回map对象中的所有value testStr(); testList(); testSet(); Iterator<String> iter = jedis.hkeys("user").iterator(); while (iter.hasNext()) { String key = iter.next(); System.out.println(key + ":" + jedis.hmget("user", key)); } } public static void testStr() { // -----添加数据---------- jedis.set("name", "treee");// 向key-->name中放入了value-->xinxin System.out.println(jedis.get("name"));// 执行结果:xinxin jedis.append("name", " is my lover"); // 拼接 System.out.println(jedis.get("name")); jedis.del("name"); // 删除某个键 System.out.println(jedis.get("name")); // 设置多个键值对 jedis.mset("name", "treee", "age", "27", "qq", "174754613"); jedis.incr("age"); // 进行加1操作 System.out.println(jedis.get("name") + "-" + jedis.get("age") + "-" + jedis.get("qq")); } public static void testList() { // 开始前,先移除所有的内容 jedis.del("java framework"); System.out.println(jedis.lrange("java framework", 0, -1)); // 先向key java framework中存放三条数据 jedis.lpush("java framework", "spring"); jedis.lpush("java framework", "struts"); jedis.lpush("java framework", "hibernate"); // 再取出所有数据jedis.lrange是按范围取出, // 第一个是key,第二个是起始位置,第三个是结束位置,jedis.llen获取长度 -1表示取得所有 System.out.println(jedis.lrange("java framework", 0, -1)); jedis.del("java framework"); jedis.rpush("java framework", "spring"); jedis.rpush("java framework", "struts"); jedis.rpush("java framework", "hibernate"); System.out.println(jedis.lrange("java framework", 0, -1)); } public static void testSet() { // 添加 jedis.sadd("user1", "liuling"); jedis.sadd("user1", "xinxin"); jedis.sadd("user1", "ling"); jedis.sadd("user1", "zhangxinxin"); jedis.sadd("user1", "who"); // 移除noname jedis.srem("user1", "who"); System.out.println(jedis.smembers("user1"));// 获取所有加入的value System.out.println(jedis.sismember("user1", "who"));// 判断 who 是否是user集合的元素 System.out.println(jedis.srandmember("user1")); System.out.println(jedis.scard("user1"));// 返回集合的元素个数 } }
2、单机版连接池
package com.taotao.rest.jedis; import java.util.Arrays; import java.util.HashMap; import java.util.Iterator; import java.util.List; import java.util.Map; import org.apache.commons.pool2.impl.GenericObjectPoolConfig; import org.junit.AfterClass; import org.junit.BeforeClass; import org.junit.Test; import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisShardInfo; import redis.clients.jedis.Pipeline; import redis.clients.jedis.ShardedJedis; import redis.clients.jedis.ShardedJedisPipeline; import redis.clients.jedis.ShardedJedisPool; import redis.clients.jedis.Transaction; public class TestSingleRedis { private static Jedis jedis; private static ShardedJedis shard; private static ShardedJedisPool pool; @BeforeClass public static void setUpBeforeClass() throws Exception { // 单个节点 jedis = new Jedis("192.168.1.122", 6379); jedis.auth("root"); // 设置密码了才需要添加这一行 // 分片 List<JedisShardInfo> shards = Arrays.asList(new JedisShardInfo("192.168.1.122", 6379)); shard = new ShardedJedis(shards); GenericObjectPoolConfig goConfig = new GenericObjectPoolConfig(); goConfig.setMaxTotal(100); goConfig.setMaxIdle(20); goConfig.setMaxWaitMillis(-1); goConfig.setTestOnBorrow(true); pool = new ShardedJedisPool(goConfig, shards); } @AfterClass public static void tearDownAfterClass() throws Exception { jedis.disconnect(); shard.disconnect(); pool.destroy(); } @Test public void testString() { // -----添加数据---------- jedis.set("name", "treee");// 向key-->name中放入了value-->xinxin System.out.println(jedis.get("name"));// 执行结果:xinxin jedis.append("name", " is my lover"); // 拼接 System.out.println(jedis.get("name")); jedis.del("name"); // 删除某个键 System.out.println(jedis.get("name")); // 设置多个键值对 jedis.mset("name", "treee", "age", "27", "qq", "174754613"); jedis.incr("age"); // 进行加1操作 System.out.println(jedis.get("name") + "-" + jedis.get("age") + "-" + jedis.get("qq")); } /** * redis操作Map */ @Test public void testMap() { // -----添加数据---------- Map<String, String> map = new HashMap<String, String>(); map.put("name", "xinxin"); map.put("age", "22"); map.put("qq", "123456"); jedis.hmset("user", map); // 取出user中的name,执行结果:[minxr]-->注意结果是一个泛型的List // 第一个参数是存入redis中map对象的key,后面跟的是放入map中的对象的key,后面的key可以跟多个,是可变参数 List<String> rsmap = jedis.hmget("user", "name", "age", "qq"); System.out.println(rsmap); // 删除map中的某个键值 jedis.hdel("user", "age"); System.out.println(jedis.hmget("user", "age")); // 因为删除了,所以返回的是null System.out.println(jedis.hlen("user")); // 返回key为user的键中存放的值的个数2 System.out.println(jedis.exists("user"));// 是否存在key为user的记录 返回true System.out.println(jedis.hkeys("user"));// 返回map对象中的所有key System.out.println(jedis.hvals("user"));// 返回map对象中的所有value Iterator<String> iter = jedis.hkeys("user").iterator(); while (iter.hasNext()) { String key = iter.next(); System.out.println(key + ":" + jedis.hmget("user", key)); } } /** * jedis操作List */ @Test public void testList() { // 开始前,先移除所有的内容 jedis.del("java framework"); System.out.println(jedis.lrange("java framework", 0, -1)); // 先向key java framework中存放三条数据 jedis.lpush("java framework", "spring"); jedis.lpush("java framework", "struts"); jedis.lpush("java framework", "hibernate"); // 再取出所有数据jedis.lrange是按范围取出, // 第一个是key,第二个是起始位置,第三个是结束位置,jedis.llen获取长度 -1表示取得所有 System.out.println(jedis.lrange("java framework", 0, -1)); jedis.del("java framework"); jedis.rpush("java framework", "spring"); jedis.rpush("java framework", "struts"); jedis.rpush("java framework", "hibernate"); System.out.println(jedis.lrange("java framework", 0, -1)); } /** * jedis操作Set */ @Test public void testSet() { // 添加 jedis.sadd("user", "liuling"); jedis.sadd("user", "xinxin"); jedis.sadd("user", "ling"); jedis.sadd("user", "zhangxinxin"); jedis.sadd("user", "who"); // 移除noname jedis.srem("user", "who"); System.out.println(jedis.smembers("user"));// 获取所有加入的value System.out.println(jedis.sismember("user", "who"));// 判断 who 是否是user集合的元素 System.out.println(jedis.srandmember("user")); System.out.println(jedis.scard("user"));// 返回集合的元素个数 } @Test public void testRLpush() throws InterruptedException { // jedis 排序 // 注意,此处的rpush和lpush是List的操作。是一个双向链表(但从表现来看的) jedis.del("a");// 先清除数据,再加入数据进行测试 jedis.rpush("a", "1"); jedis.lpush("a", "6"); jedis.lpush("a", "3"); jedis.lpush("a", "9"); System.out.println(jedis.lrange("a", 0, -1));// [9, 3, 6, 1] System.out.println(jedis.sort("a")); // [1, 3, 6, 9] //输入排序后结果 System.out.println(jedis.lrange("a", 0, -1)); } @Test public void testTrans() { long start = System.currentTimeMillis(); Transaction tx = jedis.multi(); for (int i = 0; i < 1000; i++) { tx.set("t" + i, "t" + i); } // System.out.println(tx.get("t1000").get()); List<Object> results = tx.exec(); long end = System.currentTimeMillis(); System.out.println("Transaction SET: " + ((end - start) / 1000.0) + " seconds"); } @Test public void testPipelined() { Pipeline pipeline = jedis.pipelined(); long start = System.currentTimeMillis(); for (int i = 0; i < 1000; i++) { pipeline.set("p" + i, "p" + i); } // System.out.println(pipeline.get("p1000").get()); List<Object> results = pipeline.syncAndReturnAll(); long end = System.currentTimeMillis(); System.out.println("Pipelined SET: " + ((end - start) / 1000.0) + " seconds"); } @Test public void testPipelineTrans() { long start = System.currentTimeMillis(); Pipeline pipeline = jedis.pipelined(); pipeline.multi(); for (int i = 0; i < 100000; i++) { pipeline.set("" + i, "" + i); } pipeline.exec(); List<Object> results = pipeline.syncAndReturnAll(); long end = System.currentTimeMillis(); System.out.println("Pipelined transaction SET: " + ((end - start) / 1000.0) + " seconds"); } @Test public void testShard() { long start = System.currentTimeMillis(); for (int i = 0; i < 100000; i++) { String result = shard.set("shard" + i, "n" + i); } long end = System.currentTimeMillis(); System.out.println("shard SET: " + ((end - start) / 1000.0) + " seconds"); } @Test public void testShardpipelined() { ShardedJedisPipeline pipeline = shard.pipelined(); long start = System.currentTimeMillis(); for (int i = 0; i < 100000; i++) { pipeline.set("sp" + i, "p" + i); } List<Object> results = pipeline.syncAndReturnAll(); long end = System.currentTimeMillis(); System.out.println("shardPipelined SET: " + ((end - start) / 1000.0) + " seconds"); } @Test public void testShardPool() { ShardedJedis sj = pool.getResource(); long start = System.currentTimeMillis(); for (int i = 0; i < 100000; i++) { String result = sj.set("spn" + i, "n" + i); } long end = System.currentTimeMillis(); pool.returnResource(sj); System.out.println("shardPool SET: " + ((end - start) / 1000.0) + " seconds"); } }
3、集群Java操作
package com.taotao.rest.jedis; import java.util.HashSet; import java.util.Set; import org.junit.Test; import redis.clients.jedis.HostAndPort; import redis.clients.jedis.JedisCluster; import redis.clients.jedis.JedisPoolConfig; public class TestClusterRedis { @Test public void testCluster() { Set<HostAndPort> jedisClusterNode = new HashSet<HostAndPort>(); jedisClusterNode.add(new HostAndPort("192.168.1.122", 7001)); jedisClusterNode.add(new HostAndPort("192.168.1.122", 7002)); jedisClusterNode.add(new HostAndPort("192.168.1.122", 7003)); jedisClusterNode.add(new HostAndPort("192.168.1.122", 7004)); jedisClusterNode.add(new HostAndPort("192.168.1.122", 7005)); jedisClusterNode.add(new HostAndPort("192.168.1.122", 7006)); // GenericObjectPoolConfig goConfig = new GenericObjectPoolConfig(); // JedisCluster jc = new JedisCluster(jedisClusterNode,2000,100, goConfig); JedisPoolConfig cfg = new JedisPoolConfig(); cfg.setMaxTotal(100); cfg.setMaxIdle(20); cfg.setMaxWaitMillis(-1); cfg.setTestOnBorrow(true); JedisCluster jc = new JedisCluster(jedisClusterNode, 6000, 1000, cfg); System.out.println(jc.set("age", "20")); System.out.println(jc.set("sex", "男")); System.out.println(jc.get("name")); System.out.println(jc.get("name")); System.out.println(jc.get("name")); System.out.println(jc.get("name")); System.out.println(jc.get("name")); System.out.println(jc.get("name")); System.out.println(jc.get("name")); System.out.println(jc.get("name")); System.out.println(jc.get("age")); System.out.println(jc.get("sex")); jc.close(); } }
八、Redis集群与Spring的整合
1、redis单机版与Spring整合
<beans xmlns="http://www.springframework.org/schema/beans" xmlns:context="http://www.springframework.org/schema/context" xmlns:p="http://www.springframework.org/schema/p" xmlns:aop="http://www.springframework.org/schema/aop" xmlns:tx="http://www.springframework.org/schema/tx" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.0.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-4.0.xsd http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-4.0.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-4.0.xsd http://www.springframework.org/schema/util http://www.springframework.org/schema/util/spring-util-4.0.xsd"> <!-- 连接池配置 --> <bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig"> <!-- 最大连接数 --> <property name="maxTotal" value="30" /> <!-- 最大空闲连接数 --> <property name="maxIdle" value="10" /> <!-- 每次释放连接的最大数目 --> <property name="numTestsPerEvictionRun" value="1024" /> <!-- 释放连接的扫描间隔(毫秒) --> <property name="timeBetweenEvictionRunsMillis" value="30000" /> <!-- 连接最小空闲时间 --> <property name="minEvictableIdleTimeMillis" value="1800000" /> <!-- 连接空闲多久后释放, 当空闲时间>该值 且 空闲连接>最大空闲连接数 时直接释放 --> <property name="softMinEvictableIdleTimeMillis" value="10000" /> <!-- 获取连接时的最大等待毫秒数,小于零:阻塞不确定的时间,默认-1 --> <property name="maxWaitMillis" value="1500" /> <!-- 在获取连接的时候检查有效性, 默认false --> <property name="testOnBorrow" value="false" /> <!-- 在空闲时检查有效性, 默认false --> <property name="testWhileIdle" value="true" /> <!-- 连接耗尽时是否阻塞, false报异常,ture阻塞直到超时, 默认true --> <property name="blockWhenExhausted" value="false" /> </bean> <!-- redis单机 通过连接池 --> <bean id="jedisPool" class="redis.clients.jedis.JedisPool" destroy-method="close"> <constructor-arg name="poolConfig" ref="jedisPoolConfig" /> <constructor-arg name="host" value="192.168.1.122" /> <constructor-arg name="port" value="6379" /> </bean> </beans>
使用Java测试:
@Test public void testSpringJedisSingle() { ApplicationContext ac = new ClassPathXmlApplicationContext("classpath:spring/applicationContext-*.xml"); JedisPool pool = (JedisPool)ac.getBean("jedisPool"); Jedis jedis = pool.getResource(); jedis.auth("root"); String str = jedis.get("key1"); System.out.println(str); jedis.close(); pool.close(); }
2、Redis集群版与Spring整合
<beans xmlns="http://www.springframework.org/schema/beans" xmlns:context="http://www.springframework.org/schema/context" xmlns:p="http://www.springframework.org/schema/p" xmlns:aop="http://www.springframework.org/schema/aop" xmlns:tx="http://www.springframework.org/schema/tx" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.0.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-4.0.xsd http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-4.0.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-4.0.xsd http://www.springframework.org/schema/util http://www.springframework.org/schema/util/spring-util-4.0.xsd"> <!-- 连接池配置 --> <bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig"> <!-- 最大连接数 --> <property name="maxTotal" value="30" /> <!-- 最大空闲连接数 --> <property name="maxIdle" value="10" /> <!-- 每次释放连接的最大数目 --> <property name="numTestsPerEvictionRun" value="1024" /> <!-- 释放连接的扫描间隔(毫秒) --> <property name="timeBetweenEvictionRunsMillis" value="30000" /> <!-- 连接最小空闲时间 --> <property name="minEvictableIdleTimeMillis" value="1800000" /> <!-- 连接空闲多久后释放, 当空闲时间>该值 且 空闲连接>最大空闲连接数 时直接释放 --> <property name="softMinEvictableIdleTimeMillis" value="10000" /> <!-- 获取连接时的最大等待毫秒数,小于零:阻塞不确定的时间,默认-1 --> <property name="maxWaitMillis" value="1500" /> <!-- 在获取连接的时候检查有效性, 默认false --> <property name="testOnBorrow" value="false" /> <!-- 在空闲时检查有效性, 默认false --> <property name="testWhileIdle" value="true" /> <!-- 连接耗尽时是否阻塞, false报异常,ture阻塞直到超时, 默认true --> <property name="blockWhenExhausted" value="false" /> </bean> <!-- redis集群 --> <bean id="jedisCluster" class="redis.clients.jedis.JedisCluster"> <constructor-arg index="0"> <set> <bean class="redis.clients.jedis.HostAndPort"> <constructor-arg index="0" value="192.168.1.122"></constructor-arg> <constructor-arg index="1" value="7001"></constructor-arg> </bean> <bean class="redis.clients.jedis.HostAndPort"> <constructor-arg index="0" value="192.168.1.122"></constructor-arg> <constructor-arg index="1" value="7002"></constructor-arg> </bean> <bean class="redis.clients.jedis.HostAndPort"> <constructor-arg index="0" value="192.168.1.122"></constructor-arg> <constructor-arg index="1" value="7003"></constructor-arg> </bean> <bean class="redis.clients.jedis.HostAndPort"> <constructor-arg index="0" value="192.168.1.122"></constructor-arg> <constructor-arg index="1" value="7004"></constructor-arg> </bean> <bean class="redis.clients.jedis.HostAndPort"> <constructor-arg index="0" value="192.168.1.122"></constructor-arg> <constructor-arg index="1" value="7005"></constructor-arg> </bean> <bean class="redis.clients.jedis.HostAndPort"> <constructor-arg index="0" value="192.168.1.122"></constructor-arg> <constructor-arg index="1" value="7006"></constructor-arg> </bean> </set> </constructor-arg> <constructor-arg index="1" ref="jedisPoolConfig"></constructor-arg> </bean> </beans>
Java代码测试集群:
@Test public void testSpringJedisCluster() throws IOException { ApplicationContext ac = new ClassPathXmlApplicationContext("classpath:spring/applicationContext-*.xml"); JedisCluster jedisCluster = (JedisCluster)ac.getBean("jedisCluster"); String str = jedisCluster.get("key1"); System.out.println(str); jedisCluster.close(); }