nosql与关系型数据库?
关系型数据库是基于关系表的数据库,最终会将数据持久化到磁盘上,nosql数据 库是基于特殊的结构,并将数据存储到内存的数据库。从性能上而言,nosql数据库 要优于关系型数据库,从安全性上而言关系型数据库要优于nosql数据库。redis就是nosql一种。
为什么使用nosql?
为了解决一些关系数据库难以解决的问题,如:
1. High performance-对数据库的高并发读写需求
2. Huge Storage-对海量数据的高效率存储和访问需求
3. High Scalability && High Availability-对数据库的高可扩展性和高可用性需求
nosql有什么特点?
大数据存储上具备关系型数据库无法比拟优势:
易扩展、大数据量,高性能、灵活的数据模型、高可用性
什么是redis?
redis是使用c语言开发的高新能键值对(key-value)数据库。通过提供多种键值数据类型来适应不同场景的需要。它支持:
- 字符串类型 string
- 散列类型 lists
- 列表类型 sets
- 集合类型 sorted sets
- 有序集合类型(哈希类型) hashs
redis的应用场景?
- 缓存
- 聊天室
- 任务队列
- 应用排行
- 网站访问统计
- 数据过期处理
- 分布式集群架构中session隔离
如何使用redis?
安装:
- 安装在centos7下,使用virtualbox虚拟机,采用ssh客户端远程连接方式。
- 1.安装环境:yum install gcc-c++
- 2.解压安装包redis-3.0.0.tar.gz
- 3.解压到/usr/local下 tar -xvf redis-2.6.16.tar.gz -C /usr/local
- 4.进入redis-3.0.0目录 使用make命令编译redis
- 5.在redis-2.6.16目录中 使用makePREFIX=/usr/local/redis install命令安装 redis到/usr/local/redis中
- 6.拷贝redis-2.6.16中的redis.conf到安装目录redis中
- 7.启动redis 在bin下执行命令redis-server redis.conf
- 注意:远程连接redis,需配置redis端口6379在linux防火墙中开放。
修改启动方式为后台启动:
- 将redis的配置文件redis.conf复制到redis的安装目录下,即redis/bin/下,修改配置文件,将其中的daemonize从false修改成true表示后台启动,使用命令查看6379端口是否启动ps -ef | grep redis
目录解析:
- redis-benchmark:性能测试工具
- redis-check-aof:检查修复aof文件
- redis-check-dump:检查快照持久化文件
- redis-cli:命令行客户端
- redis-conf:redis配置问阿金
- redis-server:redis服务器启动命令
redis使用
- 字符串类型存储操作:
- 结构:
基本操作:
- set key value:设定key持有指定的字符串value,如果该key存在则进行覆盖 操作。总是返回”OK”
- get key:获取key的value。如果与该key关联的value不是String类型,redis 将返回错误信息,因为get命令只能用于获取String value;如果该key不存在,返 回null。
- getset key value:先获取该key的值,然后在设置该key的值
- incr key:将指定的key的value原子性的递增1.如果该key不存在,其初始值 为0,在incr之后其值为1。如果value的值不能转成整型,如hello,该操作将执 行失败并返回相应的错误信息。
- decr key:将指定的key的value原子性的递减1.如果该key不存在,其初始值 为0,在incr之后其值为-1。如果value的值不能转成整型,如hello,该操作将执 行失败并返回相应的错误信息。
- incrby key increment:将指定的key的value原子性增加increment,如果该 key不存在,器初始值为0,在incrby之后,该值为increment。如果该值不能转成 整型,如hello则失败并返回错误信息.
- decrby key decrement:将指定的key的value原子性减少decrement,如果 该key不存在,器初始值为0,在decrby之后,该值为decrement。如果该值不能 转成整型,如hello则失败并返回错误信息
- append key value:如果该key存在,则在原有的value后追加该值;如果该key 不存在,则重新创建一个key/value
存储lists类型
- 结构:
操作:
- 在Redis中,List类型是按照插入顺序排序的字符串链表。和数据结构中的普通链表 一样,我们可以在其头部(left)和尾部(right)添加新的元素。在插入时,如果该键并不 存在,Redis将为该键创建一个新的链表。与此相反,如果链表中所有的元素均被移 除,那么该键也将会被从数据库中删除。List中可以包含的最大元素数量是 4294967295。
- lpush key value1 value2…:在指定的key所关联的list的头部插入所有的 values,如果该key不存在,该命令在插入的之前创建一个与该key关联的空链 表,之后再向该链表的头部插入数据。插入成功,返回元素的个数。
- rpush key value1、value2…:在该list的尾部添加元素
- lrange key start end:获取链表中从start到end的元素的值,start、end可 为负数,若为-1则表示链表尾部的元素,-2则表示倒数第二个,依次类推…
- lpushx key value:仅当参数中指定的key存在时(如果与key管理的list中没有值时,则该key是不存在的)在指定的key所关联的list的头部插入value。
- rpushx key value:在该list的尾部添加元素
- lpop key:返回并弹出指定的key关联的链表中的第一个元素,即头部元素。
- rpop key:从尾部弹出元素
- rpoplpush resource destination:将链表中的尾部元素弹出并添加到头部
- llen key:返回指定的key关联的链表中的元素的数量
- lset key index value:设置链表中的index的脚标的元素值,0代表链表的头元 素,-1代表链表的尾元素
- lrem key count value:删除count个值为value的元素,如果count大于0,从头向尾遍历并删除count个值为value的元素,如果count小于0,则从尾向头遍历并删除。如果count等于0,则删除链表中所有等于value的元素
- linsert key before|after pivot value:在pivot元素前或者后插入value这个元素
存储为sets类型:
- 结构
-
Redis中,我们可以将Set类型看作为没有排序的字符集合,和List类型一样,我 们也可以在该类型的数据值上执行添加、删除或判断某一元素是否存在等操作。需要 说明的是,这些操作的时间是常量时间。Set可包含的最大元素数是4294967295。
和List类型不同的是,Set集合中不允许出现重复的元素。和List类型相比,Set类 型在功能上还存在着一个非常重要的特性,即在服务器端完成多个Sets之间的聚合计 算操作,如unions、intersections和differences。由于这些操作均在服务端完成, 因此效率极高,而且也节省了大量的网络IO开销sadd key value1、value2…:向set中添加数据,如果该key的值已有则不会 重复添加
smembers key:获取set中所有的成员
scard key:获取set中成员的数量
sismember key member:判断参数中指定的成员是否在该set中,1表示存 在,0表示不存在或者该key本身就不存在
srem key member1、member2…:删除set中指定的成员
srandmember key:随机返回set中的一个成员
sdiff sdiff key1 key2:返回key1与key2中相差的成员,而且与key的顺序有 关。即返回差集
sdiffstore destination key1 key2:将key1、key2相差的成员存储在destination上
sinter key[key1,key2…]:返回交集
sinterstore destination key1 key2:将返回的交集存储在destination上
sunion key1、key2:返回并集
sunionstore destination key1 key2:将返回的并集存储在destination上
存储sortedset
- 结构:
-
- Sorted-Sets和Sets类型极为相似,它们都是字符串的集合,都不允许重复的成员出 现在一个Set中。它们之间的主要差别是Sorted-Sets中的每一个成员都会有一个分 数(score)与之关联,Redis正是通过分数来为集合中的成员进行从小到大的排序。然 而需要额外指出的是,尽管Sorted-Sets中的成员必须是唯一的,但是分数(score) 却是可以重复的。
在Sorted-Set中添加、删除或更新一个成员都是非常快速的操作,其时间复杂度为 集合中成员数量的对数。由于Sorted-Sets中的成员在集合中的位置是有序的,因此, 即便是访问位于集合中部的成员也仍然是非常高效的。事实上,Redis所具有的这一 特征在很多其它类型的数据库中是很难实现的,换句话说,在该点上要想达到和Redis,同样的高效,在其它数据库中进行建模是非常困难的。
例如:游戏排名、微博热点话题等使用场景。
zadd key score member score2 member2 … :将所有成员以及该成员的 分数存放到sorted-set中
zcard key:获取集合中的成员数量
zcount key min max:获取分数在[min,max]之间的成员
zincrby key increment member:设置指定成员的增加的分数。
zrange key start end [withscores]:获取集合中脚标为start-end的成员,[withscores]参数表明返回的成员包含其分数。
zrangebyscore key min max [withscores][limit offset count]:返回分数在[min,max]的成员并按照分数从低到高排序。[withscores]:显示分数;[limit offset count]:offset,表明从脚标为offset的元素开始并返回count个成员。
zrank key member:返回成员在集合中的位置。
zrem key member[member…]:移除集合中指定的成员,可以指定多个成员。
zscore key member:返回指定成员的分数
存储hash:
- 结构:
-
- Redis中的Hashes类型可以看成具有String Key和String Value的map容器。所 以该类型非常适合于存储值对象的信息。如Username、Password和Age等。如果 Hash中包含很少的字段,那么该类型的数据也将仅占用很少的磁盘空间。每一个Hash 可以存储4294967295个键值对。
- hset key field value:为指定的key设定field/value对(键值对)
- hgetall key:获取key中的所有filed-vaule
- hget key field:返回指定的key中的field的值
- hmset keyfields:设置key中的多个filed/value
- hmget key fileds:获取key中的多个filed的值
- hexists key field:判断指定的key中的filed是否存在
- hlen key:获取key所包含的field的数量
- hincrby key field increment:设置key中filed的值增加increment,如:age 增加20
通用命令:
keys pattern:获取所有与pattern匹配的key,返回所有与该key匹配的keys.*表示任意一个或多个字符,?表示任意一个字符
- del key1 key2 …:删除指定key
- exists key:判断该key是否存在
- rename key newkey:为当前key重命名
- expire key:设置过期时间,单位:秒
- ttl key:获取该key所剩的超时时间,如果没有设置超时时间,返回-1,返回-2表示超时不存在
type key:获取指定key的类型,以字符串格式返回,返回的字符串为:string、set、hash、list、zset。如果不存在key,返回none
Redis特性
多数据库
- 一个redis实例可以包括多个数据库,客户端可以指定连接某个redis实例的某个数据库。一个redis实例最多提供16个数据库,下标0-15。
- 数据库的切换:select 1,选择1号数据库
- 数据库内容剪切:在0号数据库下执行:move newkey 1,将当前库的key移植到1号库中。
- 服务器命令:
- ping:测试连接是否存活
- echo:在命令行中打印内容
- select:选择数据库
- quit/exit:退出连接
- dbsize:返回当前数据库中key的数目
- info:获取服务器的信息和统计
- flushdb:删除当前选择数据库中所有的key
- flushall:删除所有数据库中的所有key
消息订阅与发布
- subscribe channel:订阅频道,如subscribe test,订阅test频道
- psubscribe channel * :批量订阅频道,如psubscribe s*,批量订阅以s开头的频道。
- publish channel content:在频道中发布消息。如新开一个窗口,输入:publish test “hello”,刚才订阅subscribe test将会收到hello的信息。
- redis事务:
- 事务特征:
- 事务中的所有命令会被串化执行,事务执行间,redis不会为其他客户端的请求提供任何服务,保证原子性
- 与关系型数据库比较:redis中发生错误,其前后的命令仍然都会被执行。
- 命令:
- multi:开启事务用于标记事务的开始,其后执行命令存入命令队列,直到执行exec。
- exec:提交事务,类似关系数据库中的commit
- discard:事务回滚,类似关系数据库中rollback
redis持久化
redis高性能是因为它将其所有数据都存储在内存中,为了使redis在重启后仍能保证数据不丢失,需要将数据从内存中同步到硬盘中,这一过程是持久化。
redis持久化的两种方式:
- RDB持久化(默认支持):该机制指的是在指定的时间间隔内将内存中的数据集快照写入到磁盘中。
- AOF持久化:该机制是指以日志的形式记录服务器所处理的每一个写操作,在redis服务器启动之初会读取该文件类重新构建数据库,以保证数据库中的数据是完整的。
- redis可以同时使用RDB和AOF
也可以通过配置设置无持久化。
两种方式的优点和不足:
- RDB:
- 整个Redis数据库只包含一个文件,备份方便
- 方便恢复数据
- 性能最大化,持久化时只需要fork(分叉)出子进程,之后又子进程完成持久化工作,极大避免了服务进程执行IO操作。
- 相比AOF机制,如果数据集很大,RDB启动效率更高
- 不能保证数据的高可用性,即最大限度的避免数据丢失。可能数据在持久化之前就出现了宕机等一系列的现象。
- RDB依靠fork子线程工作,如果数据集很大,可能会导致整个服务器停止服务几百毫秒。
- AOF:
- 更高的数据安全性,即数据持久性。有三种模式:每秒同步,每修改同步,不同步。
- 该机制对日志的写入是基于append模式,即使写入过程出现宕机,也不会破坏日志文件中已经存在的内容。如果出现写到一半系统崩溃,可以通过redis-check-aof工具解决数据不一致问题。
- 日子过大,Redis自动启用rewrite机制,即Redis以append模式将修改的数据写入到老磁盘文件中,同时redis还会创建一个新的文件用来记录此期间有哪些修改命令被执行。故在执行rewrite切换时也可保证数据安全性。
- AOF包含一个格式清晰、易于理解的日志文件。
- 不足:相同数量的数据集,AOF文件大于RDB文件
- 根据同步策略不同,AOF运行效率往往会慢于RDB.
- AOF的配置信息:
- always:每次数据修改都会写入AOF文件
- everysec:每秒同步一次
- no:从不同步
- 快照参数设置:
- save 900 每900s至少有一个key发生变化,则dump内存快照
- save 300 10 每300s至少有10个key发生变化,则dump内存快照
- save 60 10000 每60秒至少有10000个key发生变化,则dump内存快照。
- dbfilename: 指定保存文件名称
- dir ./:指定文件保存位置
- 字符串类型存储操作: