21.9 redis介绍
Redis和Memcached类似,也属于k-v数据存储
什么是 key value 存储?
JAVA 中的 map 就是 key=>value 存储的。
键 => 值(key=>value)对,键唯一,对应一个值,值的形式多样。
比如:
Map<String, int> map = new HashMap<String, int>();
map.put("ming",1);
map.put("zi",2);
这里定义了一个 Map 对象,并放置了两组数据键 ming,对应值 1,键 zi,对应值2。
map.get("ming");
这样会得到 1 这个值。
如果你再设置 map.put("ming",3); 因为键 ming 已经存在,键值唯一,所以原先的值 1 会被覆盖。
Redis官网redis.io, 当前最新稳定版4.0.1 支持更多value类型,除了和string外,还支持hash、lists(链表)、sets(集合)和sorted sets(有序集合) redis使用了两种文件格式:全量数据(RDB)和增量请求(aof)。全量数据格式是把内存中的数据写入磁盘,便于下次读取文件进行加载。增量请求文件则是把内存中的数据序列化为操作请求,用于读取文件进行replay得到数据,这种类似于mysql binlog。 redis的存储分为内存存储、磁盘存储和log文件三部分
Redis 优势
- 性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。
- 丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。
- 原子 – Redis的所有操作都是原子性的,意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务,即原子性,通过MULTI和EXEC指令包起来。
- 丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性
21.10 redis安装
什么是原子性,什么是原子性操作?
举个例子:
==A想要从自己的帐户中转1000块钱到B的帐户里。那个从A开始转帐,到转帐结束的这一个过程,称之为一个事务。==在这个事务里,要做如下操作:
- 从A的帐户中减去1000块钱。如果A的帐户原来有3000块钱,现在就变成2000块钱了。
- 在B的帐户里加1000块钱。如果B的帐户如果原来有2000块钱,现在则变成3000块钱了。 如果在A的帐户已经减去了1000块钱的时候,忽然发生了意外,比如停电什么的,导致转帐事务意外终止了,而此时B的帐户里还没有增加1000块钱。那么,我们称这个操作失败了,要进行回滚==。回滚就是回到事务开始之前的状态,也就是回到A的帐户还没减1000块的状态,B的帐户的原来的状态。此时A的帐户仍然有3000块,B的帐户仍然有2000块。==== == 我们把这种要么一起成功(A帐户成功减少1000==,同时B帐户成功增加1000),要么一起失败(A帐户回到原来状态,B帐户也回到原来状态)的操作叫原子性操作。
如果把一个事务可看作是一个程序,它要么完整的被执行,要么完全不执行。这种特性就叫原子性。
[root@adailinux src]# pwd
/usr/local/src
[root@adailinux src]# wget http://download.redis.io/releases/redis-4.0.2.tar.gz
[root@adailinux src]# tar zxf redis-4.0.2.tar.gz
[root@adailinux src]# cd redis-4.0.2
直接make就可以:
[root@adailinux redis-4.0.2]# make
[root@adailinux redis-4.0.2]# echo $?
0
[root@adailinux redis-4.0.2]# which redis-cli
/usr/local/redis/bin/redis-cli
##Redis默认安装位置
Redis相关命令:
[root@adailinux redis-4.0.2]# ls /usr/local/redis/bin/
redis-benchmark redis-check-aof redis-check-rdb redis-cli redis-sentinel redis-server
配置
[root@adailinux redis-4.0.2]# cp /usr/local/src/redis-4.0.2/redis.conf /etc/
[root@adailinux ~]# vim /etc/redis.conf
daemonize yes #yes表示后台启动;no表示前台启动
pidfile /var/run/redis_6379.pid #pid存放位置
loglevel notice
#指定日志级别:debug(调试,排错)、verbose(冗长的)、notice、warning
#debug适合排查错误时使用,错误排查完毕后要换到notice,避免产生大量日志浪费系统空间
logfile "/tmp/logs/redis.log" #定义日志存放路径
databases 16
#Redis有库的概念,默认在0库
dir /data/redis #定义rdb、aof文件的存放位置
appendonly yes #开启aof日志,开启后会在dir定义的目录生成appendonly.aof文件
appendfsync everysec #指定记录日志的规则:always(只要有变动就记录)、everysec(每秒记录一次)、no(不记录)
创建dir指定的目录:
[root@adailinux ~]# mkdir /data/redis
配置内核参数:
[root@adailinux redis-4.0.2]# sysctl vm.overcommit_memory=1
[root@adailinux redis-4.0.2]# echo never > /sys/kernel/mm/transparent_hugepage/enabled
加入开机启动:
[root@adailinux redis-4.0.2]# vim /etc/rc.local
sysctl vm.overcommit_memory=1
echo never > /sys/kernel/mm/transparent_hugepage/enabled
[root@adailinux src]# pwd
/usr/local/src/redis-4.0.2/src
[root@adailinux src]# ./redis-server /etc/redis.conf
[root@adailinux src]# ps aux |grep redis
root 9191 0.1 0.4 145244 2184 ? Ssl 13:43 0:00 ./redis-server 127.0.0.1:6379
root 9196 0.0 0.1 112664 972 pts/0 R+ 13:44 0:00 grep --color=auto redis
[root@adailinux src]# netstat -lntp |grep redis
tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 9191/./redi-server
在启动Redis的时候遇到以下报错:
[root@adailinux redis-4.0.2]# redis-server /etc/redis.conf
*** FATAL CONFIG FILE ERROR ***
Reading the configuration file, at line 194
>>> 'always-show-logo yes'
Bad directive or wrong number of arguments
后来想起自己的pc上之前安装过Redis,于是执行如下命令:
[root@adailinux redis-4.0.2]# redis-server -v
Redis server v=3.2.11 sha=00000000:0 malloc=jemalloc-4.0.3 bits=64 build=54afcd59a28295d6
查看到有两个版本的Redis,豁然开朗,将原始版本(Redis v3.2.11),清除Redis v3.2.11(make clean),并删除/user/local/redis。然后重新安装Redis v4.0,但是另一个问题出现了、安装路径变了,无法直接执行redis-server命令,于是进行如下操作:
[root@adailinux ~]# which redis-server
/usr/local/bin/redis-server
[root@adailinux ~]# mkdir -p /usr/local/redis/bin
[root@adailinux ~]# cp /usr/local/bin/* /usr/local/redis/bin/
至此问题迎刃而解,成功启动Redis!!!
21.11 redis持久化
Redis跟memcache不同的是,储存在Redis中的数据是持久化的,断电或重启后,数据也不会丢失。因为Redis的存储分为内存存储、磁盘存储和log文件三部分,重启后,Redis可以从磁盘重新将数据加载到内存中,这些可以通过配置文件对其进行配置,正因为这样,Redis才能实现持久化。 Redis提供了两种持久化的方式,分别是RDB(Redis DataBase)和AOF(Append Only File)
- RDB,简而言之,就是在不同的时间点,将redis存储的数据生成快照并存储到磁盘等介质上。
- AOF,则是换了一个角度来实现持久化,那就是将redis执行过的所有写指令记录下来,在下次redis重新启动时,只要把这些写指令从前到后再重复执行一遍,就可以实现数据恢复了。
- 其实RDB和AOF两种方式也可以同时使用,在这种情况下,如果redis重启的话,则会优先采用AOF方式来进行数据恢复,这是因为AOF方式的数据恢复完整度更高。 如果你没有数据持久化的需求,也完全可以关闭RDB和AOF方式,这样的话,redis将变成一个纯内存数据库,就像memcache一样。
Redis持久化相关参数
- save 900 1 #表示每15分钟且至少有1个key改变,就触发一次持久化
- save 300 10 #表示每5分钟且至少有10个key改变,就触发一次持久化
- save 60 10000 #表示每60秒至少有10000个key改变,就触发一次持久
- save “” #这样可以禁用rdb持久化
- appendonly yes #如果是yes,则开启aof持久化
- appendfilename “appendonly.aof” # 指定aof文件名字
- appendfsync everysec #指定fsync()调用模式,有三种no(不调用fsync),always(每次写都会调用fsync),everysec(每秒钟调用一次fsync)。第一种最快,第二种数据最安全,但性能会差一些,第三种为这种方案,默认为第三种。
21.12 redis数据类型
类型1:string
string为最简单的类型,与Memcached一样的类型,一个key对应一个value,其支持的操作与Memcached的操作类似,它的功能更丰富。设置可以存二进制的对象。
示例:
[root@Dasoncheng ~]# redis-cli
127.0.0.1:6379> set key1 "100"
OK
127.0.0.1:6379> get key1
"100"
127.0.0.1:6379> set key2 200
OK
127.0.0.1:6379> get key2
"200"
127.0.0.1:6379> MSET k1 1 k2 2 k3 3
OK
127.0.0.1:6379> mget k1 k2
1) "1"
2) "2"
127.0.0.1:6379> mget k1 k2 key1
1) "1"
2) "2"
3) "100"
类型2:list
list是一个链表结构,主要功能是push、pop、获取一个范围的所有值等等。操作中key理解为链表的名字。
使用 list 结构,我们可以轻松地实现最新消息排行等功能(比如新浪微博的 TimeLine )。list 的另一个应用就是消息队列,可以利用 list 的 push操作,将任务存在 list 中,然后工作线程再用pop操作将任务取出进行执行。
127.0.0.1:6379> LPUSH l1 "aaa"
(integer) 1
127.0.0.1:6379> LPUSH l1 "bbb"
(integer) 2
127.0.0.1:6379> LPUSH l1 "aming"
(integer) 3
127.0.0.1:6379> LRANGE l1 0 -1
1) "aming"
2) "bbb"
3) "aaa"
127.0.0.1:6379> LPOP l1\\移除并返回列表 key 的头元素
"aming"
127.0.0.1:6379> LRANGE l1 0 -1
1) "bbb"
2) "aaa"
类型3:集合set
set是集合,和我们数学中的集合概念相似,对集合的操作有添加删除元素,有对多个集合求交并差等操作。操作中key理解为集合的名字。比如在微博应用中,可以将一个用户所有的关注人存在一个集合中,将其所有粉丝存在一个集合。因为 Redis 非常人性化的为集合提供了求交集、并集、差集等操作,那么就可以非常方便的实现如共同关注、共同喜好、二度好友等功能,对上面的所有集合操作,你还可以使用不同的命令选择将结果返回给客户端还是存集到一个新的集合中。
127.0.0.1:6379> SADD set1 a
(integer) 1
127.0.0.1:6379> SADD set1 b
(integer) 1
127.0.0.1:6379> SADD set1 c
(integer) 1
127.0.0.1:6379> SMEMBERS set1
1) "b"
2) "a"
3) "c"
127.0.0.1:6379> SADD set2 b
(integer) 1
127.0.0.1:6379> SADD set2 c
(integer) 1
127.0.0.1:6379> SADD set2 d
(integer) 1
127.0.0.1:6379> SADD set2 e
(integer) 1
127.0.0.1:6379> SREM set2 e ##删除e
(integer) 1
127.0.0.1:6379> SMEMBERS set2
1) "d"
2) "b"
3) "c"
127.0.0.1:6379> SADD set3 a b c e
(integer) 4
127.0.0.1:6379> SMEMBERS set3
1) "e"
2) "b"
3) "a"
4) "c"
127.0.0.1:6379> SINTER set1 set2
1) "b"
2) "c"
127.0.0.1:6379> SDIFF set1 set2
1) "a"
127.0.0.1:6379> SDIFF set2 set1
1) "d"
127.0.0.1:6379> SUNION set1 set2
1) "a"
2) "b"
3) "c"
4) "d"
类型4:有序集合sort set
sorted set是有序集合,它比set多了一个权重参数score,使得集合中的元素能够按 score 进行有序排列,比如一个存储全班同学成绩的 Sorted Sets,其集合 value 可以是同学的学号,而 score 就可以是其考试得分,这样在数据插入集合的时候,就已经进行了天然的排序。
127.0.0.1:6379> ZADD s1 100 abc
(integer) 1
127.0.0.1:6379> ZADD s1 80 "abc-123"
(integer) 1
127.0.0.1:6379> ZADD s1 90 "abc 222"
(integer) 1
127.0.0.1:6379> ZADD s1 10 "ab123"
(integer) 1
127.0.0.1:6379> ZRANGE s1 0 -1
1) "ab123"
2) "abc-123"
3) "abc 222"
4) "abc"
127.0.0.1:6379> ZREVRANGE s1 0 -1
1) "abc"
2) "abc 222"
3) "abc-123"
4) "ab123"
类型5:hash
在 Memcached 中,我们经常将一些结构化的信息打包成 hashmap,在客户端序列化后存储为一个字符串的值(一般是 JSON 格式),比如用户的昵称、年龄、性别、积分等。
127.0.0.1:6379> HSET hash1 name aming
(integer) 1
127.0.0.1:6379> HGET hash1 name
"aming"
127.0.0.1:6379> hset hash1 age 30
(integer) 1
127.0.0.1:6379> hget hash1 age
"30"
127.0.0.1:6379> hgetall hash1
1) "name"
2) "aming"
3) "age"
4) "30"
##奇行为key,偶行为value
21.13/21.14/21.15 redis常用操作
1、string1、
set key1 aminglinux
get key1
set key1 aming//第二次赋值会覆盖
setnx key2 aaa //返回1 如果key2不存在直接创建key
setnx key2 bbb //返回0,如果key2存在,返回0
setex key3 10 1 //给key3设置过期时间为10s,值为1,若key已经存在,会覆盖新的值
mset k1 1 k2 a k3 c
mget k1 k3 k2
[root@Dasoncheng ~]# redis-cli
127.0.0.1:6379> get key1
"100"
127.0.0.1:6379> set key1 1001 ##第二次赋值同一可以,会覆盖
OK
127.0.0.1:6379> get key1
"1001"
127.0.0.1:6379> setnx key1 10001
##使用setnx会检测 是否存在同一key,存在则返回0(不做任何操作) 不存在则返回1 并创建该key
(integer) 0
127.0.0.1:6379> get key10
(nil)
127.0.0.1:6379> setnx key10 100
(integer) 1
127.0.0.1:6379> get key10
"100"
127.0.0.1:6379> set key11 aaa ex 10 ##创建并设定过期时间;
OK
127.0.0.1:6379> setex key11 100 bbb ##setex创建并设定过期时间,若key存在 则覆盖
OK
127.0.0.1:6379> get key11
"bbb"
2、list
lpush lista a //从左侧加入一个元素
lpush lista b
lrange lista 0 -1
lpop lista //从左侧取出第一个元素
rpush lista 1 //从右侧加入一个元素
rpop lista //从右侧取出第一个元素
linsert lista before 2 3 //在2的前面插入一个元素为3
lset lista 4 bbb //把第5个元素修改为bbb
lindex lista 0 //查看第1个元素
lindex lista 3 //查看第4个元素
llen lista //查看链表中有几个元素
127.0.0.1:6379> lpush lista 111
(integer) 1
127.0.0.1:6379> lpush lista 222
(integer) 2
127.0.0.1:6379> lrange lista 0 -1
1) "222"
2) "111"
127.0.0.1:6379> lpop lista ##向左删除一个元素
"222"
127.0.0.1:6379> lrange lista 0 -1
1) "111"
127.0.0.1:6379> lpush lista 333
(integer) 2
127.0.0.1:6379> lpush lista 444
(integer) 3
127.0.0.1:6379> lrange lista 0 -1
1) "444"
2) "333"
3) "111"
127.0.0.1:6379> rpop lista ##向右删除一个元素
"111"
rpush lista 1 //从右侧加入一个元素
127.0.0.1:6379> linsert lista after 333 aaa ##在333之前 添加一个元素aaa
(integer) 3
127.0.0.1:6379> lrange lista 0 -1
1) "444"
2) "333"
3) "aaa"
127.0.0.1:6379> lset lista 2 bbb ##将第三个元素aaa 修改为bbb
OK
127.0.0.1:6379> lrange lista 0 -1
1) "444"
2) "333"
3) "bbb"
127.0.0.1:6379> lindex lista 0 ##查看第一个元素
"444"
127.0.0.1:6379> lindex lista 2
"bbb"
127.0.0.1:6379> llen lista ##显示所有元素数量;
(integer) 3
3、set
sadd seta aaa //向集合seta中放入元素
smembers seta //查看集合中的所有元素
srem seta aaa //删除元素
spop seta //随机取出一个元素,删除
sdiff seta setb //求差集,以seta为标准
sdiffstore setc seta setb //求差集并且存储,存储到了setc里
sinter seta setb //求交集
sinterstore setd seta setb //将交集存储setd
sunion seta setb //求并集
sunionstore sete seta setb //求并集并存储到sete
sismember seta aaa //判断一个元素是否属于一个集合
srandmember seta //随机取出一个元素,但不删除
127.0.0.1:6379> sadd seta aaa
(integer) 1
127.0.0.1:6379> sadd seta bbb ccc ddd
(integer) 3
127.0.0.1:6379> smembers seta ##查看集合里面的所有元素;
1) "ddd"
2) "aaa"
3) "ccc"
4) "bbb"
127.0.0.1:6379> srem seta aaa ##删除元素aaa
(integer) 1
127.0.0.1:6379> smembers seta
1) "ddd"
2) "ccc"
3) "bbb"
127.0.0.1:6379> spop seta ##随机取出一个元素并删除;接数字 代表取出n个
"ddd"
127.0.0.1:6379> sadd seta aaa
(integer) 1
127.0.0.1:6379> sadd setb bbb ccc ddd
(integer) 3
127.0.0.1:6379> smembers seta
1) "aaa"
2) "ccc"
3) "bbb"
127.0.0.1:6379> smembers setb
1) "ddd"
2) "ccc"
3) "bbb"
127.0.0.1:6379> sdiff seta setb ##以setb为参考对象,求seta的差集;
1) "aaa"
127.0.0.1:6379> sdiffstore setc seta setb ##将seta的差集 保存到集合setc;
(integer) 1
127.0.0.1:6379> smembers setc
1) "aaa"
127.0.0.1:6379> sinter seta setb ##求seta的交集;
1) "ccc"
2) "bbb"
127.0.0.1:6379> sinterstore setd seta setb
(integer) 2
127.0.0.1:6379> sunion seta setb ##求并集;
1) "bbb"
2) "ccc"
3) "ddd"
4) "aaa"
127.0.0.1:6379> sunionstore sete seta setb
(integer) 4
127.0.0.1:6379> sismember seta 1 ##判断1 是否属于seta集合;否则反馈0
(integer) 0
127.0.0.1:6379> sismember seta aaa ##判断aaa 是否属于seta集合;是则反馈1
(integer) 1
127.0.0.1:6379> srandmember seta ##随机取出一个元素,并不删除;
"ccc"
127.0.0.1:6379> srandmember seta 3 ##随机取出3个元素,不删除
1) "aaa"
2) "bbb"
3) "ccc"
4、zset
zadd zseta 11 123 //创建有序集合
zrange zseta 0 -1 //显示所有元素,按顺序显示
zrange zseta 0 -1 withscores //可以带上分值
zrem zseta 222 //删除指定元素
zrank zseta 222 //返回元素的索引值,索引值从0开始,按score正向排序
zrevrank zseta 222 //同上,不同的是,按score反序排序
zrevrange zseta 0 -1 反序显示所有元素,并带分值
zcard zseta //返回集合中所有元素的个数
zcount zseta 1 10 // 返回分值范围1-10的元素个数
zrangebyscore zseta 1 10 // 返回分值范围1-10的元素
zremrangebyrank zseta 0 2 //删除索引范围0-2的元素,按score正向排序
zremrangebyscore zseta 1 10 //删除分值范围1-10的元素
5、hash
hset user1 name aming //建立hash
hset user1 age 30
hset user1 job it
hgetall user1
hmset user2 name aming age 30 job it //批量建立键值对
hmget user2
hmget user2 name age job
hdel user2 job //删除指定filed
hkeys user2 //打印所有的key
hvals user2 //打印所有的values
hlen user2 //查看hash有几个filed
21.16 redis操作键值
keys my* //模糊匹配
exists name //有name键 返回1 ,否则返回0;
del key1 // 删除一个key //成功返回1 ,否则返回0;
EXPIRE key1 100 //设置key1 100s后过期
ttl key // 查看键 还有多长时间过期,单位是s,当 key 不存在时,返回 -2 。 当 key 存在但没有设置剩余生存时间时,返回 -1 。 否则,返回 key 的剩余生存时间。
select 0 //代表选择当前数据库,默认进入0 数据库
move age 1 // 把age 移动到1 数据库
persist key1 //取消key1的过期时间
randomkey //随机返回一个key
rename oldname newname //重命名key
type key1 //返回键的类型
21.17 redis安全设置
设置监听ip
bind 127.0.0.1 2.2.2.2//可以是多个ip,用空格分隔
设置监听端口
port 16000
设置密码
requirepass aming>com
redis-cli -a 'aming>com'
将config命令改名
rename-command CONFIG aming
禁掉config命令
rename-command CONFIG “”
21.18 redis慢查询日志
编辑配置文件/etc/redis.conf 针对慢查询日志,可以设置两个参数,一个是执行时长,单位是微秒,另一个是慢查询日志的长度。当一个新的命令被写入日志时,最老的一条会从命令日志队列中被移除。 slowlog-log-slower-than 1000 //单位ms,表示慢于1000ms则记录日志 slowlog-max-len 128 //定义日志长度,表示最多存128条 slowlog get //列出所有的慢查询日志 slowlog get 2 //只列出2条 slowlog len //查看慢查询日志条数
##redis慢查询日志默认是开启的:
[root@Dasoncheng ~]# vim /etc/redis.conf
# The following time is expressed in microseconds, so 1000000 is equivalent
# to one second. Note that a negative number disables the slow log, while
# a value of zero forces the logging of every command.
slowlog-log-slower-than 10000
# There is no limit to this length. Just be aware that it will consume memory.
# You can reclaim memory used by the slow log with SLOWLOG RESET.
slowlog-max-len 128
这里我们将执行时常修改为10微秒,看看效果:
# The following time is expressed in microseconds, so 1000000 is equivalent
# to one second. Note that a negative number disables the slow log, while
# a value of zero forces the logging of every command.
slowlog-log-slower-than 10 ##正常实验环境下,查询都会超过10微秒
# There is no limit to this length. Just be aware that it will consume memory.
# You can reclaim memory used by the slow log with SLOWLOG RESET.
slowlog-max-len 128
#保存退出
[root@Dasoncheng ~]# killall redis-server
[root@Dasoncheng ~]# redis-server /etc/redis.conf
[root@Dasoncheng ~]# redis-cli
127.0.0.1:6379> slowlog get ##这里显示0为1条慢查询日志
1) 1) (integer) 0
2) (integer) 1507942013
3) (integer) 899
4) 1) "COMMAND"
5) "127.0.0.1:40790"
6) ""
127.0.0.1:6379> keys *
1) "k3"
2) "key2"
3) "setc"
4) "hash1"
5) "s1"
6) "lista"
7) "set1"
8) "l1"
9) "setd"
10) "set2"
11) "list"
12) "key10"
13) "setb"
14) "key1"
15) "k2"
16) "sete"
17) "k1"
18) "seta"
19) "set3"
127.0.0.1:6379> get k3
"3"
127.0.0.1:6379> get key2
"200"
127.0.0.1:6379> slowlog get
1) 1) (integer) 3
2) (integer) 1507942047
3) (integer) 58
4) 1) "get"
2) "key2"
5) "127.0.0.1:40790"
6) ""
2) 1) (integer) 2
2) (integer) 1507942031
3) (integer) 29
4) 1) "keys"
2) "*"
5) "127.0.0.1:40790"
6) ""
3) 1) (integer) 1
2) (integer) 1507942021
3) (integer) 22
4) 1) "slowlog"
2) "get"
5) "127.0.0.1:40790"
6) ""
4) 1) (integer) 0
2) (integer) 1507942013
3) (integer) 899
4) 1) "COMMAND"
5) "127.0.0.1:40790"
6) ""
127.0.0.1:6379> slowlog get 2 ##只获取最近两条慢查询日志;
1) 1) (integer) 4
2) (integer) 1507942052
3) (integer) 41
4) 1) "slowlog"
2) "get"
5) "127.0.0.1:40790"
6) ""
2) 1) (integer) 3
2) (integer) 1507942047
3) (integer) 58
4) 1) "get"
2) "key2"
5) "127.0.0.1:40790"
6) ""
127.0.0.1:6379> slowlog len ##显示所有慢查询日志条数;
(integer) 6
21.19 php安装redis扩展模块
cd /usr/local/src
wget https://coding.net/u/aminglinux/p/yuanke_centos7/git/raw/master/21NOSQL/phpredis.zip
unzip phpredis.zip
cd phpredis-develop
/usr/local/php-fpm/bin/phpize
./configure --with-php-config=/usr/local/php-fpm/bin/php-config
make
make install
vim /usr/local/php.ini//增加extension=redis.so
/usr/local/php-fpm/bin/php -m|grep redis//看是否有redis模块
重启php-fpm服务
21.20 redis存储session
vim /usr/local/php-fpm/etc/php.ini//更改或增加
session.save_handler = "redis"
session.save_path = "tcp://127.0.0.1:6379"
或者apache虚拟主机配置文件中也可以这样配置:
php_value session.save_handler " redis"
php_value session.save_path " tcp://127.0.0.1:6379"
或者php-fpm配置文件对应的pool中增加:
php_value[session.save_handler] = redis
php_value[session.save_path] = " tcp://127.0.0.1:6379 "
wgt http://study.lishiming.net/.mem_se.txt
mv .mem_se.txt /usr/local/apache2/htdocs/session.php
其中session.php内容可以参考https://coding.net/u/aminglinux/p/yuanke_centos7/git/blob/master/21NOSQL/session.php
curl localhost/session.php //结果类似于1443702394<br><br>1443702394<br><br>i44nunao0g3o7vf2su0hnc5440
命令行连接redis,也可以查看到该key以及对应的值
如果想用php连接redis cluster,需要使用predis扩展
安装方法类似phpredis,predis扩展地址https://github.com/nrk/predis
21.21 redis主从配置
为了节省资源,我们可以在一台机器上启动两个redis服务
cp /etc/redis.conf /etc/redis2.conf
vim /etc/redis2.conf //需要修改port,dir,pidfile,logfile
还要增加一行
slaveof 127.0.0.1 6379
如果主上设置了密码,还需要增加
masterauth aminglinux>com //设置主的密码
启动之前不要忘记创建新的dir目录
redis-server /etc/redis2.conf
测试:在主上创建新的key,在从上查看
注意:redis主从和mysql主从不一样,redis主从不用事先同步数据,它会自动同步过去
[root@Dasoncheng ~]# vim /etc/redis2.conf
[root@Dasoncheng ~]# mkdir /data/redis2
[root@Dasoncheng ~]# redis-server /etc/redis2.conf
[root@Dasoncheng ~]# ps aux |grep redis
root 6411 0.2 0.2 142920 2284 ? Ssl 08:46 0:02 redis-server 127.0.0.1:6379
root 6498 0.1 0.2 142788 2136 ? Ssl 09:06 0:00 redis-server 127.0.0.1:6333
root 6505 0.0 0.0 112660 964 pts/2 S+ 09:06 0:00 grep --color=auto redis
[root@Dasoncheng ~]# redis-cli -h 127.0.0.1 -p 6333
127.0.0.1:6333> keys *
1) "set1"
2) "seta"
3) "key2"
4) "l1"
5) "key10"
6) "lista"
7) "s1"
8) "k1"
9) "k2"
10) "set3"
11) "key1"
12) "k3"
13) "setd"
14) "set2"
15) "sete"
16) "list"
17) "setc"
18) "setb"
19) "hash1"
21.22 redis集群介绍
多个redis节点网络互联,数据共享 所有的节点都是一主一从(可以是多个从),其中从不提供服务,仅作为备用 不支持同时处理多个键(如mset/mget),因为redis需要把键均匀分布在各个节点上,并发量很高的情况下同时创建键值会降低性能并导致不可预测的行为。 支持在线增加、删除节点 客户端可以连任何一个主节点进行读写;
21.23/21.24 redis集群搭建配置
场景设置: 两台机器,分别开启三个Redis服务(端口) A机器上三个端口7000,7002,7004,全部为主 B机器上三个端口7001,7003,7005,全部为从 两台机器上都要编译安装redis,然后编辑并复制3个不同的redis.conf,分别设置不同的端口号、dir等参数,还需要增加cluster相关参数,然后分别启动6个redis服务 具体redis配置文件大家到https://coding.net/u/aminglinux/p/yuanke_centos7/git/tree/master/21NOSQL下载或者查看
[root@Dasoncheng ~]# ll /etc/redis* ##主上面创建三个配置文件,并创建相应文件夹等
-rw-r--r-- 1 root root 57815 Oct 14 09:06 /etc/redis2.conf
-rw-r--r-- 1 root root 199 Oct 17 09:00 /etc/redis_7000.conf
-rw-r--r-- 1 root root 199 Oct 17 09:01 /etc/redis_7002.conf
-rw-r--r-- 1 root root 199 Oct 17 09:03 /etc/redis_7004.conf
-rw-r--r-- 1 root root 57790 Oct 14 08:46 /etc/redis.conf
[root@Dasoncheng ~]# cat /etc/redis_7000.conf
port 7000
bind 192.168.60.11
daemonize yes
pidfile /var/run/redis_7000.pid
dir /data/redis_data/7000
cluster-enabled yes
cluster-config-file nodes_7000.conf
cluster-node-timeout 10100
appendonly yes
[root@Dasoncheng ~]# mkdir -p /data/redis_data/{7000,7002,7004}
[root@Dasoncheng ~]# redis-server /etc/redis_7000.conf
18732:C 17 Oct 09:20:54.363 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
18732:C 17 Oct 09:20:54.363 # Redis version=4.0.1, bits=64, commit=00000000, modified=0, pid=18732, just started
18732:C 17 Oct 09:20:54.364 # Configuration loaded
[root@Dasoncheng ~]# ps aux |grep redis
root 18733 0.2 0.2 142280 2524 ? Ssl 09:20 0:00 redis-server 192.168.60.11:7000 [cluster]
root 19915 0.0 0.0 112660 968 pts/0 S+ 09:21 0:00 grep --color=auto redis
[root@Dasoncheng ~]# redis-server /etc/redis_7002.conf
23362:C 17 Oct 09:21:28.212 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
23362:C 17 Oct 09:21:28.212 # Redis version=4.0.1, bits=64, commit=00000000, modified=0, pid=23362, just started
23362:C 17 Oct 09:21:28.212 # Configuration loaded
[root@Dasoncheng ~]# redis-server /etc/redis_7004.conf
23367:C 17 Oct 09:21:31.738 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
23367:C 17 Oct 09:21:31.739 # Redis version=4.0.1, bits=64, commit=00000000, modified=0, pid=23367, just started
23367:C 17 Oct 09:21:31.739 # Configuration loaded
[root@Dasoncheng ~]# echo $?
0
[root@Dasoncheng ~]# ps aux |grep redis
root 18733 0.1 0.2 142280 2524 ? Ssl 09:20 0:00 redis-server 192.168.60.11:7000 [cluster]
root 23363 0.2 0.2 142280 2524 ? Ssl 09:21 0:00 redis-server 192.168.60.11:7002 [cluster]
root 23368 0.1 0.2 142280 2528 ? Ssl 09:21 0:00 redis-server 192.168.60.11:7004 [cluster]
root 23385 0.0 0.0 112660 968 pts/0 S+ 09:29 0:00 grep --color=auto redis
小提示:创建多个文件夹另类方法! mkdir -p /data/redis_data/{7000,7002,7004}
安装ruby2.2 (只需要一台机器上运行)
yum -y groupinstall "Development Tools"
yum -y install gdbm-devel libdb4-devel libffi-devel libyaml libyaml-devel ncurses-devel openssl-devel readline-devel tcl-deve
cd /root/
mkdir -p rpmbuild/{BUILD,BUILDROOT,RPMS,SOURCES,SPECS,SRPMS}
wget http://cache.ruby-lang.org/pub/ruby/2.2/ruby-2.2.3.tar.gz -P rpmbuild/SOURCES
wget https://raw.githubusercontent.com/tjinjin/automate-ruby-rpm/master/ruby22x.spec -P rpmbuild/SPECS
rpmbuild -bb rpmbuild/SPECS/ruby22x.spec
yum -y localinstall rpmbuild/RPMS/x86_64/ruby-2.2.3-1.el7.centos.x86_64.rpm
gem install redis
cp /usr/local/src/redis-4.0.1/src/redis-trib.rb /usr/bin/
redis-trib.rb create --replicas 1 192.168.133.130:7000 192.168.133.130:7002 192.168.133.130:7004 192.168.133.132:7001 192.168.133.132:7003 192.168.133.132:7005
安装高版本ruby:
yum里面的版本太低,我们这里下载源码包,将其制作成rpm包安装文件!
[root@Dasoncheng ~]# yum -y groupinstall "Development Tools"
##安装拓展工具;
[root@Dasoncheng ~]# yum -y install gdbm-devel libdb4-devel libffi-devel libyaml libyaml-devel ncurses-devel openssl-devel readline-devel tcl-deve
[root@Dasoncheng ~]# cd /root/
[root@Dasoncheng ~]# mkdir -p rpmbuild/{BUILD,BUILDROOT,RPMS,SOURCES,SPECS,SRPMS}
[root@Dasoncheng ~]# wget http://cache.ruby-lang.org/pub/ruby/2.2/ruby-2.2.3.tar.gz -P rpmbuild/SOURCES
[root@Dasoncheng ~]# wget https://raw.githubusercontent.com/tjinjin/automate-ruby-rpm/master/ruby22x.spec -P rpmbuild/SPECS
[root@Dasoncheng ~]# rpmbuild -bb rpmbuild/SPECS/ruby22x.spec
[root@Dasoncheng ~]# yum -y localinstall rpmbuild/RPMS/x86_64/ruby-2.2.3-1.el7.centos.x86_64.rpm
[root@Dasoncheng ~]# gem install redis
##安装redis的工具trib;
[root@Dasoncheng ~]# cp /usr/local/src/redis-4.0.1/src/redis-trib.rb /usr/bin/
##拷贝到PATH里面,方便命令直接执行;
[root@Dasoncheng ~]# redis-trib.rb create --replicas 1 192.168.60.11:7000 192.168.60.11:7002 192.168.60.11:7004 192.168.60.12:7001 192.168.60.12:7003 192.168.60.12:7005
>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
192.168.60.11:7000
192.168.60.12:7001
192.168.60.11:7002
Adding replica 192.168.60.12:7003 to 192.168.60.11:7000
Adding replica 192.168.60.11:7004 to 192.168.60.12:7001
Adding replica 192.168.60.12:7005 to 192.168.60.11:7002
M: 1f39268503aeaf02e2a1d4b81a3d572f71fd389f 192.168.60.11:7000
slots:0-5460 (5461 slots) master
M: 420058045cf5ecfb779f01978606fc25f9271c43 192.168.60.11:7002
slots:10923-16383 (5461 slots) master
S: 166c1180d683b847b69ed4517158aa0845dc6478 192.168.60.11:7004
replicates 7e398f3003d9a2d1bbef32d01cc9d3c62760830d
M: 7e398f3003d9a2d1bbef32d01cc9d3c62760830d 192.168.60.12:7001
slots:5461-10922 (5462 slots) master
S: 3933f911a2f8a8c7da25481189b7b234c24dee5b 192.168.60.12:7003
replicates 1f39268503aeaf02e2a1d4b81a3d572f71fd389f
S: 9f44617279ac675df4df29e54f3fd6f7555fa6bc 192.168.60.12:7005
replicates 420058045cf5ecfb779f01978606fc25f9271c43
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join.....
>>> Performing Cluster Check (using node 192.168.60.11:7000)
M: 1f39268503aeaf02e2a1d4b81a3d572f71fd389f 192.168.60.11:7000
slots:0-5460 (5461 slots) master
1 additional replica(s)
M: 420058045cf5ecfb779f01978606fc25f9271c43 192.168.60.11:7002
slots:10923-16383 (5461 slots) master
1 additional replica(s)
S: 3933f911a2f8a8c7da25481189b7b234c24dee5b 192.168.60.12:7003
slots: (0 slots) slave
replicates 1f39268503aeaf02e2a1d4b81a3d572f71fd389f
S: 166c1180d683b847b69ed4517158aa0845dc6478 192.168.60.11:7004
slots: (0 slots) slave
replicates 7e398f3003d9a2d1bbef32d01cc9d3c62760830d
S: 9f44617279ac675df4df29e54f3fd6f7555fa6bc 192.168.60.12:7005
slots: (0 slots) slave
replicates 420058045cf5ecfb779f01978606fc25f9271c43
M: 7e398f3003d9a2d1bbef32d01cc9d3c62760830d 192.168.60.12:7001
slots:5461-10922 (5462 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
##这里我要说一下:
##生产环境一般不会一台机器多个端口,因为这样没有了集群的意义(一台机器宕机 端口都不能用);
##我们可以看到,主从已经分配了(其实是按端口顺序来的,如果需要指定60.11所有redis都为主的话,我们可以修改端口达到目的)
小提示:yum安装本地rpm包,直接解决依赖关系! yum localinstall -y custom.rpm
21.25 redis集群操作
redis-cli -c -h 192.168.133.130 -p 7000//-c说明以集群的方式登录
任意一个节点都可以创建key,或者查看key(演示)
redis-trib.rb check 192.168.133.130:7000//检测集群状态
cluster nodes//列出节点
cluster info//查看集群信息
cluster meet ip port //添加节点
cluster forget node_id //移除某个节点
cluster replicate node_id//将当前节点设置为指定节点的从
cluster saveconfig//保存配置文件
[root@Dasoncheng ~]# redis-cli -c -h 192.168.60.12 -p 7001
##-c是以集群的方式登录,如果没有-c则以单独redis登录;不会有集群效果
192.168.60.12:7001> set key1 123
OK
192.168.60.12:7001> set key2 123 ##操作被定向到60.11的7000端口
-> Redirected to slot [4998] located at 192.168.60.11:7000
OK
192.168.60.11:7000> set key3 123
OK
192.168.60.11:7000> set key4 123
-> Redirected to slot [13120] located at 192.168.60.11:7002
OK
192.168.60.11:7002> get key2 ##查询也是从60.11的7000里面查询;
-> Redirected to slot [4998] located at 192.168.60.11:7000
"123"
192.168.60.11:7000> get key4
-> Redirected to slot [13120] located at 192.168.60.11:7002
"123"
192.168.60.11:7002> quit
[root@Dasoncheng ~]# redis-trib.rb check 192.168.60.11:7000
##检测集群状态;
>>> Performing Cluster Check (using node 192.168.60.11:7000)
M: 1f39268503aeaf02e2a1d4b81a3d572f71fd389f 192.168.60.11:7000
slots:0-5460 (5461 slots) master
1 additional replica(s)
M: 420058045cf5ecfb779f01978606fc25f9271c43 192.168.60.11:7002
slots:10923-16383 (5461 slots) master
1 additional replica(s)
S: 3933f911a2f8a8c7da25481189b7b234c24dee5b 192.168.60.12:7003
slots: (0 slots) slave
replicates 1f39268503aeaf02e2a1d4b81a3d572f71fd389f
S: 166c1180d683b847b69ed4517158aa0845dc6478 192.168.60.11:7004
slots: (0 slots) slave
replicates 7e398f3003d9a2d1bbef32d01cc9d3c62760830d
S: 9f44617279ac675df4df29e54f3fd6f7555fa6bc 192.168.60.12:7005
slots: (0 slots) slave
replicates 420058045cf5ecfb779f01978606fc25f9271c43
M: 7e398f3003d9a2d1bbef32d01cc9d3c62760830d 192.168.60.12:7001
slots:5461-10922 (5462 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
[root@Dasoncheng ~]# redis-cli -c -h 192.168.60.12 -p 7001
##列出节点;
192.168.60.12:7001> cluster nodes
1f39268503aeaf02e2a1d4b81a3d572f71fd389f 192.168.60.11:7000@17000 master - 0 1508208564000 1 connected 0-5460
7e398f3003d9a2d1bbef32d01cc9d3c62760830d 192.168.60.12:7001@17001 myself,master - 0 1508208561000 4 connected 5461-10922
##这一行说明了myself;即本机登录
9f44617279ac675df4df29e54f3fd6f7555fa6bc 192.168.60.12:7005@17005 slave 420058045cf5ecfb779f01978606fc25f9271c43 0 1508208563000 6 connected
420058045cf5ecfb779f01978606fc25f9271c43 192.168.60.11:7002@17002 master - 0 1508208565002 2 connected 10923-16383
3933f911a2f8a8c7da25481189b7b234c24dee5b 192.168.60.12:7003@17003 slave 1f39268503aeaf02e2a1d4b81a3d572f71fd389f 0 1508208562978 5 connected
166c1180d683b847b69ed4517158aa0845dc6478 192.168.60.11:7004@17004 slave 7e398f3003d9a2d1bbef32d01cc9d3c62760830d 0 1508208563996 4 connected
192.168.60.12:7001> cluster info
##查看集群信息;
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:4
cluster_stats_messages_ping_sent:1284
cluster_stats_messages_pong_sent:1293
cluster_stats_messages_meet_sent:5
cluster_stats_messages_sent:2582
cluster_stats_messages_ping_received:1293
cluster_stats_messages_pong_received:1289
cluster_stats_messages_received:2582
192.168.60.12:7001> cluster meet 192.168.60.12 7007
##添加节点;下面我们cluster nodes可以看到该节点为主(若再添加一个新节点,也是master那么多和弄slave从呢?)下面有法子设置slave从;
##cluster replicate node_id//将当前节点设置为指定节点的从(登录一个想要成为master的节点,执行命令cluster replicate node_id--节点的node信息 即可)
OK
192.168.60.12:7001> cluster nodes
1f39268503aeaf02e2a1d4b81a3d572f71fd389f 192.168.60.11:7000@17000 master - 0 1508208878187 1 connected 0-5460
daa308972c148b6dc819ee5ba1a17654bdc1c788 192.168.60.12:7007@17007 master - 0 1508208879197 0 connected
7e398f3003d9a2d1bbef32d01cc9d3c62760830d 192.168.60.12:7001@17001 myself,master - 0 1508208875000 4 connected 5461-10922
9f44617279ac675df4df29e54f3fd6f7555fa6bc 192.168.60.12:7005@17005 slave 420058045cf5ecfb779f01978606fc25f9271c43 0 1508208877000 6 connected
420058045cf5ecfb779f01978606fc25f9271c43 192.168.60.11:7002@17002 master - 0 1508208876164 2 connected 10923-16383
3933f911a2f8a8c7da25481189b7b234c24dee5b 192.168.60.12:7003@17003 slave 1f39268503aeaf02e2a1d4b81a3d572f71fd389f 0 1508208877000 5 connected
166c1180d683b847b69ed4517158aa0845dc6478 192.168.60.11:7004@17004 slave 7e398f3003d9a2d1bbef32d01cc9d3c62760830d 0 1508208880210 4 connected
192.168.60.12:7001> cluster forget daa308972c148b6dc819ee5ba1a17654bdc1c788
OK
##cluster forget node_id移除某个节点
##如果移除不了,看看是否为主/主下有没有从,将主设为从即可移除
##无法移除正在登录的节点,先退出 再删除;
192.168.60.12:7001> cluster nodes
1f39268503aeaf02e2a1d4b81a3d572f71fd389f 192.168.60.11:7000@17000 master - 0 1508209442000 1 connected 0-5460
7e398f3003d9a2d1bbef32d01cc9d3c62760830d 192.168.60.12:7001@17001 myself,master - 0 1508209443000 4 connected 5461-10922
9f44617279ac675df4df29e54f3fd6f7555fa6bc 192.168.60.12:7005@17005 slave 420058045cf5ecfb779f01978606fc25f9271c43 0 1508209444209 6 connected
420058045cf5ecfb779f01978606fc25f9271c43 192.168.60.11:7002@17002 master - 0 1508209443000 2 connected 10923-16383
3933f911a2f8a8c7da25481189b7b234c24dee5b 192.168.60.12:7003@17003 slave 1f39268503aeaf02e2a1d4b81a3d572f71fd389f 0 1508209444607 5 connected
166c1180d683b847b69ed4517158aa0845dc6478 192.168.60.11:7004@17004 slave 7e398f3003d9a2d1bbef32d01cc9d3c62760830d 0 1508209443600 4 connected
[root@Dasoncheng ~]# redis-cli -c -h 192.168.60.12 -p 7001
192.168.60.12:7001> cluster saveconfig
OK
##保存配置文件;具体保存在如下文件中!
[root@localhost ~]# ls /data/redis_data/7001/
appendonly.aof dump.rdb nodes_7001.conf
[root@localhost ~]# cat /data/redis_data/7001/nodes_7001.conf
1f39268503aeaf02e2a1d4b81a3d572f71fd389f 192.168.60.11:7000@17000 master - 0 1508209726000 1 connected 0-5460
daa308972c148b6dc819ee5ba1a17654bdc1c788 192.168.60.12:7007@17007 master - 0 1508209726023 0 connected
7e398f3003d9a2d1bbef32d01cc9d3c62760830d 192.168.60.12:7001@17001 myself,master - 0 1508209724000 4 connected 5461-10922
9f44617279ac675df4df29e54f3fd6f7555fa6bc 192.168.60.12:7005@17005 slave 420058045cf5ecfb779f01978606fc25f9271c43 0 1508209723000 6 connected
420058045cf5ecfb779f01978606fc25f9271c43 192.168.60.11:7002@17002 master - 0 1508209725000 2 connected 10923-16383
3933f911a2f8a8c7da25481189b7b234c24dee5b 192.168.60.12:7003@17003 slave 1f39268503aeaf02e2a1d4b81a3d572f71fd389f 0 1508209724998 5 connected
166c1180d683b847b69ed4517158aa0845dc6478 192.168.60.11:7004@17004 slave 7e398f3003d9a2d1bbef32d01cc9d3c62760830d 0 1508209727028 4 connected
vars currentEpoch 6 lastVoteEpoch 0