(一)NoSql:
1.1缓存中间件:
- 随着Web2.0时代到来,用户访问量大幅提升,同时产生大量用户数据。加上后来移动设备普及,所有的互联网平台都面临了巨大的性能挑战。数据库服务器压力越来越大,传统关系型数据库根本无法承载较高的并发,此时人们就开始用Redis当成缓存,来缓解数据库的压力
- 为什么由Redis:提高应用的相应速度,减少后端的压力
主流的应用架构:
首先,客户端向缓存层请求缓存,若能够访问到,则直接返回;若没有数据,则进行穿透查询,即穿过缓存层向存储层访问,并将相关数据回写到缓存层(回种);若存储层不能访问,则触发熔断,即只访问缓冲层,无论是否有响应均返回 - 主要的缓存中间件:Memcache和Redis
- Memchache:代码层次类似于Hash,其支持简单数据类型,不支持数据持久化存储,不支持主从,不支持分片
- Redis:数据类型丰富,支持数据磁盘持久化和存储,支持主从,支持分片
1.2非关系型数据库:
-
NoSQL最常见的解释是"non-relational", 泛指非关系型的数据库
-
区别于关系数据库,它们不保证关系数据的ACID特性
1.3应用场景:
-
试用场景
-
需要高并发的读写的场景,其QPS可达到 10w/s
-
海量数据读写的场景
-
高可扩展性 不限制语言、lua脚本增强
-
-
不适用场景:
-
需要事务支持的场景
-
基于sql的结构化查询存储,处理复杂的关系,需要即席查询(用户自定义查询条件的查询)
政府银行金融项目,还是使用关系型数据库。oracle
-
1.4NoSql数据库
- memcache
1.很早出现的NoSql数据库,数据都在内存中,一般不支持持久化
2.支持简单的key-value模式,一般是作为缓存数据库辅助持久化的数据库
- redis
1.几乎覆盖了Memcached的绝大部分功能,数据都在内存中,支持持久化,主要用作备份恢复
2.除了支持简单的key-value模式,还支持多种数据结构的存储,比如 list、set、hash、zset等。一般是作为缓存数据库辅助持久化的数据库
redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库
- mongoDB介绍
1.高性能、开源、模式自由(schema free)的文档型数据库,数据都在内存中, 如果内存不足,把不常用的数据保存到硬盘
2.虽然是key-value模式,但是对value(尤其是json)提供了丰富的查询功能,支持二进制数据及大型对象
3.可以根据数据的特点替代RDBMS,成为独立的数据库。或者配合RDBMS,存储特定的数据。
- 列式存储HBase介绍
HBase是Hadoop项目中的数据库。它用于需要对大量的数据进行随机、实时读写操作的场景中。HBase的目标就是处理数据量非常庞大的表,可以用普通的计算机处理超过10亿行数据,还可处理有数百万列元素的数据表。
(二)Redis概念:
2.1Redis(Remote Dictionary Server ):
即远程字典服务,是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API
- 优势:
-
Redis有着更为复杂的数据结构并且提供对他们的原子性操作,这是一个不同于其他数据库的进化路径。Redis的数据类型都是基于基本数据结构的同时对程序员透明,无需进行额外的抽象。
-
Redis运行在内存中但是可以持久化到磁盘,所以在对不同数据集进行高速读写时需要权衡内存,因为数据量不能大于硬件内存。
-
相比在磁盘上相同的复杂的数据结构,在内存中操作起来非常简单,这样Redis可以做很多内部复杂性很强的事情。同时,在磁盘格式方面他们是紧凑的以追加的方式产生的,因为他们并不需要进行随机访问。
-
- Redis可以10w+QPS(QPS即query per second每秒查询次数)的原因:
- 完全基于内存,绝大部分请求是纯粹的内存操作,执行效率高
- 数据结构简单,对数据操作简单
- 采用单线程,单线程也可以处理
- 使用多路I/O复用模型,非阻塞IO
- Reids支持的数据类型:
-
string(字符串) a->b 配置
-
list(列表) a->list 消息队列
-
hash(哈希) a->map 购物车 1----->[“1”=>“剃须刀”,“2”=>“电脑”],键值对
-
set(集合) a->set 去重 quchong–>[“北京”,“山西”,“河北“]
-
zset(有序集合) a->sorted set 排行榜 top10->[”xx拿了金牌,10“,“跑路了,9.5”],排序,
-
并发:可以让一个计算单元处理多个客户端的请求
并行:服务器可以执行多个事情,有多个计算单元
2.2多路I/O服用模型:
FD:文件描述符(用整数表示):一个打开的文件通过唯一的描述符进行引用,该描述符是打开文件的元数据到文件本身的映射
- 传统的I/O阻塞模型:
当read或write对FD进行访问时,若FD不可读,则redis不会对其它服务响应,导致不可用;因此不适应与多客户端服务
- select系统调用:
select用于监听是否可读或可写:
- 多路复用函数:epoll/kqueue/evport/select:
如何选择多路复用函数:
1在不同的平台选择不同函数
2:优先选择时间复杂度为O(1)的I/O多路复用函数为底层
3.以时间复杂度为O(n)的select作为保底
4.基于react设计模式监听I/O事件,同时监听多个FD,提高网络性能
2.3 应用场景
-
取最新N个数据的操作
比如典型的取网站最新文章,可以将最新的5000条评论ID放在Redis的List集合中,并将超出集合部分从数据库获取2.排行榜应用,取TOP N操作
这个需求与上面需求的不同之处在于,前面操作以时间为权重,这个是以某个条件为权重,比如按顶的次数排序,可以使用Redis的sorted set,将要排序的值设置成sorted set的score,将具体的数据设置成相应的value,每次只需要执行一条ZADD命令即可。3.需要精准设定过期时间的应用
比如可以把上面说到的sorted set的score值设置成过期时间的时间戳,那么就可以简单地通过过期时间排序,定时清除过期数据了,不仅是清除Redis中的过期数据,你完全可以把Redis里这个过期时间当成是对数据库中数据的索引,用Redis来找出哪些数据需要过期删除,然后再精准地从数据库中删除相应的记录。4计数器应用
Redis的命令都是原子性的,你可以轻松地利用INCR,DECR命令来构建计数器系统。5.Uniq操作(去重操作),获取某段时间所有数据排重值
这个使用Redis的set数据结构最合适了,只需要不断地将数据往set中扔就行了,set意为集合(可去重),所以会自动排重。6.实时系统,反垃圾系统
通过上面说到的set功能,你可以知道一个终端用户是否进行了某个操作,可以找到其操作的集合并进行分析统计对比等7.缓存应用:
将数据直接存放到内存中,性能优于Memcached,数据结构更多样化。