Redis
1秒钟redis可以读11W次,写8W次
传统的ACID分别是什么
1、A(Atomicity)原子性
原子性很容易理解,也就是说事务里的所有操作要么全部做完,要么全部不做。只要有一个操作失败,整个事务就失败,需要回滚。比如转账的例子。
2、C(Consistency)一致性
就是说数据库要一直处于一致的状态,事务的运行不会改变数据库原本的一致性约束。
3、I(Isolation)独立性
指并发的事务之间不会互相影响,如果一个事务要访问的数据正在被另一个事务修改,只有另外一个事务未提交,它所访问的数据就不受未提交事务的影响。比如现在有个交易是从A账户转100元至B账户,在这个交易还未完成的情况下,如果此时B查询自己的账户,是看不到新增的100元的。
4、D(Durability)持久性
指的是一旦事务提交后,它做的修改会永久的保存到数据库上,即使出现宕机也不会丢失。
简单来讲:
1、分布式:不同的多台服务器上面部署不同的服务模块(工程),他们之间通过RPC/RMI进行通信和调用,对外提供服务和组内协作。
2、集群:不同的多台服务器上面部署相同的服务模块,通过分布式调度软件进行统一的调度,对外提供服务和访问。
Key
Del key 删除某个key
//测试连通性
public class Demo1{
public static void main(String[] args){
//连接本地的Redis服务
Jedis jedis = new Jedis("127.0.0.1");
//查看服务是否运行,打出pong表示OK
System.out.println("connection is ok====>"+jedis.ping());
}
}
String
getrange:获取指定区间范围内的值,类似between...and的关系
从零到负一表示全部
setrange设置指定区间范围内的值,格式是setrange key值,具体值
setnx(set with expire)键秒值
setnx(set if not exist)
List
性能总结
它是一个字符串链表,left、right都可以插入添加!
如果键不存在,创建新的链表;
如果键已存在,新增内容;
如果值全移除,对应的键也就消失了。
链表的操作无论是头和尾效率都极高,但假如是对中间元素进行操作,效率就很惨淡了。
Set(无序集合)
Hash
常见配置redis.conf介绍
1、Redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程
daemonize no
2、当Redis以守护进程的方式运行,Redis默认会把pid写入/var/run/redis.pid文件,可以通过pidfile指定
pidfile /var/run/redis.pid
3、指定Redis监听端口,默认端口为6379
port 6379
4、绑定的主机地址
bind 127.0.0.1
5、当客户端闲置多长时间后关闭连接,如果指定为0,表示关闭该功能
timeout 300
6、指定日志记录级别,redis总共支持四个级别,debug、verbose、notice、warning,默认为verbose
loglevel verbose
7、日志记录方式,默认为标准输出,如果配置redis为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则日志将会发送给/dev/null
logfile stdout
Redis的持久化(RDB和AOF)
redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能。如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。
Save 手动备份,比如两分钟内只改过一次,但是需要备份
快照:save或者bgsave。
save:save时只管保存,其他不管,全部阻塞
bgsave:redis会在后台异步进行快照操作,快照同时还可以相应客户端请求。可以通过lastsave命令获取最后一次成功执行快照的时间。
fork:其作用是复制一个与当前进程一样的进程。新进程的所有数据(变量、环境变量、程序计数器等)数值都和原进程一致,但是是一个全新的进程,并作为原进程的子进程。
缺点:如果原数据很大,那么fork会占有更大的资源空间,服务可能会更慢
rdb保存的是dump.rdb文件
小总结
- RDB是一个非常紧凑的文件
- RDB在保存RDB文件时父进程唯一需要做的就是fork出一个子进程,接下来的工作全部交给子进程来做,父进程不需要再做其他的IO操作,所以RDB持久化方式可以最大化redis的性能
- 与AOF相比,在恢复大的数据集的时候,RDB方式会更快一些
- RDB需要经常fork子进程来保存数据集到硬盘上,当数据集比较大的时候,fork的过程是非常耗时的,可能会导致redis在一些毫秒级不能响应客户端请求
AOF
Appendonly.aof和dump.rdb是可以共存的,在redis启动的时候会先检查appendonly.aof,然后再检查dump.rdb
优劣势
appendfsync always:同步持久化,每次发送数据变更会被立即记录到磁盘,性能较差但数据完整性比较好
appendfsync everysec:异步操作,每秒记录,如果一秒内宕机,有数据丢失
appendfsync no:从不同步
相同数据集的数据而言aof文件要远大于rdb文件,恢复速度慢于rdb,aof运行效率要慢于rdb,每秒同步策略较好,不同步效率和rdb相同。
小总结
- AOF文件是一个只进行追加的日志文件
- Redis可以在AOF文件体积变得过大时,自动地在后台对AOF进行重写
- AOF文件有序地保存了对数据库执行的所有写入操作,这些写入操作以redis协议的格式保存,因此AOF文件的内容非常容易被人读懂,对文件进行分析也很轻松
- 对于相同的数据集来说,AOF文件的体积通常要大于RDB文件的体积
- 根据所使用的fsync策略,AOF的速度可能会慢于RDB
同时开启两种持久化方式
当redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整。
事务
命令
1、DISCARD:取消事务,放弃执行事务块内的所有命令
2、EXEC:执行所有事务块内的命令
3、MULTI:标记一个事务块的开始
4、UNWATCH:取消WATCH命令对所有key的监视
5、WATCH:监视一个或多个key,如果在事务执行之前这些key被其他命令所改动,那么事务将被打断。
开启:以MULTI开始一个事务
入队:将多个命令入队到事务中,接到这么命令并不会立即执行,而是放到等待执行的事务队列里面
执行:由EXEC命令触发事务
悲观锁:对事务发展抱有悲观状态,认为一定会出事,那么为了防止出问题,就把整张表给锁上。
悲观锁,顾名思义,就是很悲观,每次去拿数据的时候都认为别人会修改,所以每次在拿数据的时候都会上锁,这样别人拿这个数据就会block直到它拿到锁。传统的关系型数据库里面就用到了很多这种锁机制,比如行锁,表锁等,读锁,写锁等,都是在做操作之前先上锁。
乐观锁:在每条记录后面加上版本号,就想当于svn一样。如果同一条数据前一秒修改了,那么你修改的时候就要重新取,然后再自己修改。(工作中基本都使用乐观锁)
乐观锁,顾名思义,就是很乐观,每次去拿数据的时候都认为别人不会修改,所以不会上锁,但是在更新的时候会判断一下在此期间别人有没有去更新这个数据,可以使用版本号等机制。乐观锁适用于多读的应用类型,这样可以提高吞吐量。
乐观锁策略:提交版本必须大于记录当前版本才能执行更新。
表锁:把整张表锁住,可能你一个人使用,别人访问不了,就好比上厕所。并发性极差,一致性很好。
行锁:把每一行锁住,其他行别人可以使用。
主从复制,读写分离
作用:读写分离、容灾恢复
从库配置:slaveof 主库ip 主库端口
每次与master断开之后,都需要重新连接,除非你配置进redis.conf文件,info replication
使用info replication查看redis服务器
注意:只要从机slaveof主机,那么就可以读到主机的所有数据,不论你是什么时候slaveof主机的。
使当前数据库停止与其他数据库的同步,转出主数据库
JedisPool
线程有线程池,数据库连接有连接池
池的作用就是减少连接数,减少资源消耗,这时候就会想到单例模式。
基本的Redis的容灾策略为: 1 采用master-slave方式 2 为了得到好的读写性能,master不做任何的持久化 3 slave同时开启Snapshot和AOF来进行持久化,保证数据的安全性 4 当master挂掉后,修改slave为master 5 恢复原master数据,修改原先master为slave,启动slave 6 若master与slave都挂掉后,调用命令通过aof和snapshot进行恢复 恢复时要先确保恢复文件都正确了,才能启动主库;也可以先启动slave,将master与slave对调 开源方案codishttp://navyaijm.blog.51cto.com/4647068/1637688
哨兵的作用
- 监控:监控主从是否正常
- 通知:出现问题时,可以通知相关人员
- 故障迁移:自动主从切换
- 统一的配置管理:连接者询问sentinel取得主从的地址 Raft算法核心: 可视图