一:关系数据库和非关系数据库
1.1:关系性数据库
一个结构化的数据库,创建在关系模型基础上
一般面相于记录
包括:Oracle、MySQL、SQL Server、Microsoft Access、DB2
1.2:非关系型数据库
除了主流的关系型数据库外的数据库,都人为是非关系型
包括Redis、MongBD、CouhDB等
1.3:非关系型数据库产生的背景
High performance-----对数据库高并发并发读写需求
Huge Storage------------对海量数据库高效存储与访问需求
High Scalability && High Availability------对数据库高可扩展性与高可用性需求
1.4:Redis简介
Redis基于内存运行并并支持持久化【高热数据】
采用Key-value(键值对)的存储形式
优点:
具有极高的数据续写速度
支持丰富的数据类型
支持数据的持久化
原子性【不可分割】
支持数据备份
二:Redis安装部署
2.1:操作步骤
2.2:安装必要的环境组件,并安装redis
[root@server1 ~]# iptables -F
[root@server1 ~]# setenforce 0
[root@server1 ~]# yum install gcc gcc-c++ -y
//解压到opt
[root@server1 ~]# tar zxvf redis-5.0.7.tar.gz -C /opt
[root@server1 ~]# cd /opt
[root@server1 opt]# cd redis-5.0.7/
//直接编译
[root@server1 redis-5.0.7]# make
[root@server1 redis-5.0.7]# make PREFIX=/usr/local/redis install
//命令便于系统所识别
[root@server1 redis-5.0.7]# ln -s /usr/local/redis/bin/* /usr/local/bin
2.3:执行配置Redis配置文件脚本,并进行配置
[root@server1 utils]# pwd
/opt/redis-5.0.7/utils
[root@server1 utils]# ./install_server.sh
//下面都直接回车就行
Welcome to the redis service installer
This script will help you easily set up a running redis server
Please select the redis port for this instance: [6379] ##默认端口
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf] ##配置文件
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log] ##日志文件
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379] ##数据文件
Selected default - /var/lib/redis/6379
Please select the redis executable path [] /usr/local/redis/bin/redis-server
Selected config:
Port : 6379
Config file : /etc/redis/6379.conf //配置文件路径
Log file : /var/log/redis_6379.log //日志文件路径
Data dir : /var/lib/redis/6379 //数据文件路径
Executable : /usr/local/bin/redis-server //可执行文件路径
Cli Executable : /usr/local/bin/redis-cli //客户端命令工具
//查看端口
[root@server1 utils]# netstat -luntp | grep redis
tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 88573/redis-server
//关闭服务
[root@server1 utils]# /etc/init.d/redis_6379 stop
Stopping ...
Waiting for Redis to shutdown ...
Redis stopped
//开启服务
[root@server1 utils]# /etc/init.d/redis_6379 start
Starting Redis server...
[root@server1 utils]# netstat -anpt | grep redis
tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 11623/redi-server
2.4:Redis配置文件
配置参数(/etc/redis/6379.conf)
bind:监听的主机地址
port:端口
daemonize yes:启用守护进程
pidfile:指定PID文件
loglevel notice:日志级别
logfile:指定日志文件
2.5:redis-cil命令工具
- 连接数据库
[root@server1 utils]# /usr/local/redis/bin/redis-cli
127.0.0.1:6379> quit
- 连接远程数据库
[root@server1 utils]# redis-cli -h 192.168.158.10
Could not connect to Redis at 192.168.158.10:6379: Connection refused
not connected> exit
[root@server1 utils]# vim /etc/redis/6379.conf //配置主配置文件
bind 127.0.0.1 20.0.0.43 //设置监听地址
//重启一下服务
[root@server1 utils]# /etc/init.d/redis_6379 restart
Stopping ...
Waiting for Redis to shutdown ...
Redis stopped
Starting Redis server...
[root@server1 utils]# netstat -anpt | grep redis
tcp 0 0 192.168.158.10:6379 0.0.0.0:* LISTEN 12059/redi-server
tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 12059/redi-server
[root@server1 utils]# redis-cli -h 192.168.158.10 -p 6379
192.168.158.10:6379>
#可以访问
获取命令帮助
help @ :获取中的命令列表
help :获取某个命令的帮助
help:获取可能帮助的主题列表
2.6:redis-cli命令行工具与Key相关命令
set:存放数据
get:获取数据
key相关命令
keys:获取符合规则的键值列表
exists:判断键值是否存在
del:删除当前数据库的指定key
type:获取key对应的value值类型
rename(覆盖)/ renamenx(不覆盖):对已有的key进行
重命名
dbsize:查看当前数据库中key的数目
示例
192.168.158.10:6379> set tom jerry #设置键值对
OK
192.168.158.10:6379> set tea red
OK
192.168.158.10:6379> keys * #查看所有的键
1) "tea"
2) "tom"
192.168.158.10:6379> keys t?? #查看键是t开头后面连个字符的
1) "tea"
2) "tom"
192.168.158.10:6379> get tea #查看键的值
"red"
192.168.158.10:6379> EXISTS key tom #查看键是否存在
(integer) 1
192.168.158.10:6379> keys *
1) "tea"
2) "tom"
192.168.158.10:6379> del tom #删除键
(integer) 1
192.168.158.10:6379> keys *
1) "tea"
192.168.158.10:6379> rename tea cc #重命名
OK
192.168.158.10:6379> keys *
1) "cc"
192.168.158.10:6379> exit #退出
2.7:redis-benchmark测试工具
-h:指定服务器主机名
-p:指定服务器端口
-c:指定并发连接数
-n:指定请求数
-d:以字节的形式指定SET/GET值的数据大小
-q∶强制退出Redis,仅显示query/sec值
[root@tom03 utils]# /usr/local/redis/bin/redis-benchmark -h 20.0.0.43 -p 6379 -c 100 -n 100000
====== SET ======
100000 requests completed in 0.82 seconds
100 parallel clients
3 bytes payload
keep alive: 1
98.11% <= 1 milliseconds
99.89% <= 2 milliseconds
99.96% <= 3 milliseconds
100.00% <= 3 milliseconds
121359.23 requests per second
====== GET ======
100000 requests completed in 0.81 seconds
100 parallel clients
3 bytes payload
keep alive: 1
98.24% <= 1 milliseconds
99.80% <= 2 milliseconds
99.94% <= 3 milliseconds
99.98% <= 4 milliseconds
100.00% <= 4 milliseconds
122850.12 requests per second
- 测试存取大小为100字节的数据包的性能
[root@server1 ~]# /usr/local/redis/bin/redis-benchmark -h 192.168.158.10 -p 6379 -q -d 100
PING_INLINE: 157232.70 requests per second
PING_BULK: 154083.20 requests per second
SET: 145137.88 requests per second
GET: 151515.14 requests per second
2.8:Redis多数据库操作
Redis支持多数据库,默认支持16个数据库,0-15命令
多数据库相对独立,互相不干扰
多数据库常用命令
多数据库间切换
多数据库间移动数据
清除数据库内数据
[root@server1 ~]# redis-cli -h 192.168.158.10 -p 6379
192.168.158.10:6379> select 10 #进入第10个库
OK
192.168.158.10:6379[10]> keys 10 #里面空的
(empty list or set)
192.168.158.10:6379[10]> set name lisi #设置键值对
OK
192.168.158.10:6379[10]> keys * #查看键
1) "name"
192.168.158.10:6379[10]> get name #查看键的值
"lisi"
192.168.158.10:6379[10]> move name 3 #移动键值到第11个库
(integer) 1
192.168.158.10:6379[10]> select 3
OK
192.168.158.10:6379[3]> keys *
1) "name"
192.168.158.10:6379[10]> select 3 #进入第3个库
OK
192.168.158.10:6379[3]> keys *
(empty list or set)
192.168.158.10:6379[3]> select 10
OK
192.168.158.10:6379[10]> keys *
1) "name"
192.168.158.10:6379[10]> get name
"lisi"
192.168.158.10:6379[10]> select 0
OK
192.168.158.10:6379> keys *
1) "cc"
2) "key:__rand_int__"
3) "myset:__rand_int__"
4) "counter:__rand_int__"
5) "mylist"
2.9:设置hash结构
存储具体的某一个结构
对象名 对象属性名 值
192.168.158.10:6379> hset student name suxi
(integer) 1
192.168.158.10:6379> hset student age 18
(integer) 1
192.168.158.10:6379> hset student score 66
(integer) 1
192.168.158.10:6379[3]> hget student name
"suxi"
192.168.158.10:6379[3]> hget student age
"18"
192.168.158.10:6379[3]> hget student score
"66"
三:Redis持久化
3.1:持久化概述
Redis是运行在内存中,内存中的数据断电丢失
为了能后重用Redis数据,或者防止系统故障,我们需要将Redis中的数据写入到磁盘空间中,即持久化
3.2:持久化分类
- RDB方式:创建快照的方式获取某一时刻Redis中所有数据的副本
- AOF方式:将执行的写命令写到文件的末尾,以日志的方式来记录数据的变化
3.3:RDB持久化
- RDB持久化
- Redis的默认持久化方式
- 默认文件名dump.rdb 【/var/lib/redis/6379】
3.31:触发条件:
在指定的时间间隔内,执行指定次数的写操作(配置文件控制)
执行save或者是bgsave(异步)命令
执行flushall命令,清空数据库所有数据
执行shutdown命令,保证服务器正常关闭且不丢失任
3.32:RDB优缺点
适合大规模的数据恢复
如果业务对数据完整性和一致性要求不高,RDB是很好的选择
数据的完整性和一致性不高
备份时占用内存
3.33:通过RDB文件恢复数据
将dump.rdb文件拷贝到redis的安装目录的bin目录下,重启redis服务即可
配置RDB持久化
[root@localhost utils]# vim /etc/redis/6379.conf
#900秒之内至少一次写操作
save 900 1
#300秒之内至少发生10次写操作
save 300 10
#60秒之内发生至少10000次写操作
save 60 10000
#只要满足其一都会触发快照操作,注释所有的save项表示关闭RDB
#RDB文件名称
dbfilename dump.rdb
#RDB文件路径
dir /var/lib/redis/6379
#开启压缩功能
rdbcompression yes
3.4:AOF持久化
Redis默认不开启
弥补EDB的不足(数据的不一致性)
采用日志的形式来记录每个写的操作,并追加到文件中
Redis重启会根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作
3.41:根据AOF文件恢复数据
将appendonly.aof文件拷贝到Redis的安装目录的bin目录下,重启Redis服务即可
- 配置文件选项
[root@localhost utils]# vim /etc/redis/6379.conf
#开启AOF持久化
appendonly yes
#AOF文件名称
appendfilename "appendonly.aof"
#always:同步持久化,每次发生数据变化会立刻写入磁盘
# appendfsync always
#everysec:默认推荐,每秒异步记录次(默认值)
appendfsync everysec
#no:不同步,交给操作系统决定如何同步
# appendfsync no
#忽略最后一条可能存在问题的指令
aof-load-truncated yes
3.42:AOF的重写机制
AOF的工作原理是将写操作追加到文件中,文件的冗余内容会越来越多
当AOF文件的大小超过所设定的阀值时,Redis就会对AOF文件的内容压缩
3.43:AOF重写配置
Redis会fork出一条新进程,读取内存中的数据(并没有读取旧文件),并重新写到一个临时文件中,最后替换旧的aof文件:
3.44:AOF重写配置
[root@localhost utils]# vim /etc/redis/6379.conf
#在日志进行BGREWRITEAOF时, 如果设置为yes表示新写操作不进行同步fsync,
#只暂存在缓冲区里,避免造成磁盘I0操作冲突,等重写完成后在写入。redis中默认为no
no-appendfsync-on-rewrite no
#当前AOF文件大小是上次日志重写时AOF文件大小两倍时,发生BGREWRITEAOF操作
auto-aof-rewrite-percentage 100
#当前AOF文件执行BGREWRITEAOF命令的最小值,
#避免刚开始启动Reids时由于文件尺寸较小导致频繁的BGREWRITEAOF
auto-aof-rewrite-min:-size 64mb
3.5:Redis性能管理
##查看redis内存使用
[root@localhost utils]# /usr/local/redis/bin/redis-cli
127.0.0.1:6379> info memo:ry
3.51:内存碎片率
操系统分配的内存值used_ _memory_ _rss除以redis使用的内存值
used_ _memory计算得出
内存碎片是由操作系统低效的分配/回收物理内存导致的
不连续的物理内存分配
跟踪内存碎片率对理解redis实例的资源性能是非常重要的
内存碎片率稍大于1是合理的,这个值表示内存碎片率比较低
内存碎片率超过1.5,说明redis消耗了实际需要物理内存的150%,其中50%是内存碎片率
内存碎片率低于1的,说明Redis内存分配超出了物理内存,操作系统正:在进行内存交换
3.52:内存使用率
redis实例的内存使用率超过可用最大内存,操作系统将开始进行
内存与swap空间交换
避免内存交换
针对缓存数据大小选择
尽可能的使用Hash数据结构
设置key:的过期时间
3.53:回收key
保证合理分配redis有限的内存资源
当内存使用达到设置的最大阀值时,需要选择一种key的回收策略
默认情况下回收策略是禁止删除
redis.conf配置文件中修改maxmemory-policy属性值
- volatile-lru:使用LRU算法从已设置过期时间的数据集合中淘汰数据
- volatile-ttl:从已设置过期时间的数据集合中挑选即将过期的数据淘汰(建议使用)
- volatile-random:从已设置过期时间的数据集合中随机挑选数据淘汰
- allkeys-lru:使用LRU算法从所有数据集合中淘汰数据
- allkeys-random:从数据集合中任意选择数据淘汰
- no-enviction:禁止淘汰数据
四:redis数据库及五种数据类型
字符串string,哈希hash,列表list,集合set,有序集合zset
字符串string
字符串类型是 Redis 中最为基础的数据存储类型,它在 Redis 中是二进制安全的,这意味着该类型可以接受任何格式的数据,如JPEG图像数据或Json对象描述信息等。在Redis中字符串类型的Value最多可以容纳的数据长度是512M。
存储形式:
增
- 设置键值:set key value
- 设置键值及过期时间,以秒为单位:setex key seconds value
- 设置多个键值:mset key1 value1 key2 value2 …
删 - 设置键’a1’的过期时间为3秒:expire ‘a1’ 3
- 追加值(通过键向已存在的值末尾追加内容):append key value
查 - 查看所有键:keys *
- 查看名称中包含a的键:keys ‘a*’
- 判断键是否存在,如果存在返回1,不存在返回0:exists key1
- 查看键对应的value的类型:type key
- 根据键获取值,如果不存在此键则返回nil:get key
- 根据多个键获取多个值:mget key1 key2 …
- 查看有效时间,以秒为单位:ttl key
192.168.158.10:6379[1]> set name peiqi
OK
192.168.158.10:6379[1]> append name suxi
(integer) 9
192.168.158.10:6379[1]> keys *
1) "key"
2) "name"
192.168.158.10:6379[1]> get name
"peiqisuxi"
192.168.158.10:6379[1]> type name
string
hash类型
可以理解为首先有一个主key,在这个主key下数据以key-value形式存储,值的类型也是String
存储形式:
增:
设置单个属性:hset key field value
设置多个属性:hmset key field1 value1 field2 value2 …
删:
删除属性,属性对应的值会被一起删除:hdel key field1 field2 …
改:
重复set等于更改
查:
获取指定键所有的属性:hkeys key
获取单个属性的值:hget key field
获取多个属性的值:hmget key field1 field2 …
获取所有属性的值:hvals key
192.168.158.10:6379[2]> hset student name suxi score 66
(integer) 2
192.168.158.10:6379[2]> hget student score
"66"
192.168.158.10:6379[2]> hvals student
1) "suxi"
2) "66"
list类型:
列表的元素类型为string,按照插入顺序排序,元素有索引
存储形式:
增:
从键为’a1’的列表左侧添加数据a、b、c:lpush a1 a b c ==》c、b、a
从键为’a1’的列表右侧添加数据a、b、c:rpush a1 a b c ==》a、b、c
在指定元素的前或后添加新元素:linsert key before或after 现有元素 新元素
删:
将列表中前count次出现的值为value的元素移除
count > 0: 从头往尾移除
count < 0: 从尾往头移除
count = 0: 移除所有
lrem key count value
举例,从’a2’列表右侧开始删除2个’b’:lrem a2 -2 b
改:
修改键为’a1’的列表中下标为1的元素值为’z’:lset a1 1 z
查:
获取键为’a1’的列表所有元素:lrange a1 0 -1
192.168.158.10:6379[4]> lpush score 22
(integer) 1
192.168.158.10:6379[4]> lpush score 33
(integer) 2
192.168.158.10:6379[4]> lpush score 11
(integer) 3
192.168.158.10:6379[4]> lrange score 0 10
1) "11"
2) "33"
3) "22"
set类型
元素为string类型,元素具有唯一性,不重复,没有修改操作
存储形式:
增:
添加元素:sadd key member1 member2 …
删:
删除指定元素:srem key
查:
返回所有的元素:smembers key
192.168.158.10:6379[6]> sadd score 22 44
(integer) 2
192.168.158.10:6379[6]> smembers score
1) "22"
2) "44"
zset类型
有序集合,元素为string类型,元素具有唯一性,每个元素都会关联一个double(双精度)类型的score,表示权重,通过权重将元素从左到右排序。
增:
添加:zadd key score1 member1 score2 member2 …
举例:向键’a1’的集合中添加元素’zhao’、‘qian’、‘sun’、‘li’,权重分别为9、6、8、7
zadd a1 9 zhao 6 qian 8 sun 7 li
删:
删除集合’a1’中元素’zhao’:zrem a1 zhao
删除集合’a1’中权限在2、6之间的元素:zremrangebyscore a1 2 6
查:
获取键’a1’的集合中所有元素:zrange a1 0 -1
获取键’a1’的集合中权限值在8和9之间的成员:zrangebyscore a1 8 9
获取键’a1’的集合中元素’zhao’的权重:zscore a1 zhao
192.168.158.10:6379[7]> zadd student 1 suxi
(integer) 1
192.168.158.10:6379[7]> zadd student 3 qiaozhi
(integer) 1
192.168.158.10:6379[7]> zadd student 2 peiqi
(integer) 1
192.168.158.10:6379[7]> zrangebyscore student 0 10
1) "suxi"
2) "peiqi"
3) "qiaozhi"