NOSQL的应用

数据库的发展历史

阶段一:单机Mysql时代

90年代,一个网站的访问量一般不会太大,单个数据库完全够用。随着用户增多,网站出现以下问题:

  • 数据量增加到一定程度,单机数据库就放不下了
  • 数据的索引(B+ Tree),一个机器内存也存放不下
  • 访问量变大后(读写混合),一台服务器承受不住。
    在这里插入图片描述

阶段二:Memcached(缓存) + Mysql + 垂直拆分

网站80%的情况都是在读,每次都要去查询数据库的话就十分的麻烦!所以说我们希望减轻数据库的压力,我们可以使用缓存来保证效率!
在这里插入图片描述
这次优化过程经历了以下几个过程:

  • 数据库拆分,例如一套完整的商城系统数据库拆分为卖家库,买家库,购物车库,商品库…
  • 优化数据库的数据结构和索引(难度大)
  • 文件缓存,通过IO流获取比每次都访问数据库效率略高,但多台web机器通过文件缓存不能共享,大量的小文件缓存也带了了比较高的IO压力,在流量爆炸式增长时候IO流也承受不了,MemCache,当时最热门的技术,通过在数据库和数据库访问层之间加上一层缓存,第一次访问时查询数据库,将结果保存到缓存,后续的查询先检查缓存,若有直接拿去使用,效率显著提升

阶段三:Mysql主从分离(master-slave)

MemCache只能缓解数据库的读取压力,但集中于一库的读写操作依旧会使数据库不堪重负。主从分离也就是读写分离,将读和写设计的库分开设计,读取的库是从库(slave),写的库是主库(master)
在这里插入图片描述

阶段四:分库分表 + 水平拆分 + Mysql集群

背景:在Memcached的高速缓存,MySQL的主从复制, 读写分离,分表分库的基础之上
问题:MySQL主库的写压力开始出现瓶颈,而数据量的持续猛增
原因:由于MyISAM使用表锁,在高并发下会出现严重的锁问题
解决:大量的高并发MySQL应用开始使用InnoDB引擎代替MyISAM,MySQL推出了MySQL Cluster集群, 在高可靠性上提供了非常大的保证。
在这里插入图片描述

目前MySQL的扩展性瓶颈

MySQL数据库也经常存储一些大文本字段,导致数据库表非常的大,在做数据库恢复的时候就导致非常的慢,不容易快速恢复数据库。比如1000万4KB大小的文本就接近40GB的大小, 如果能把这些数据从MySQL省去,MySQL将变得非常的小。关系数据库很强大,但是它并不能很好的应付所有的应用场景。MySQL的扩展性差(需要复杂的技术来实现),大数据下IO压力大,表结构更改困难,正是当前使用MySOL的开发人员面临的问题。

当下的技术设备
在这里插入图片描述

NoSQL

1 为什么用NoSQL

今天我们可以通过第三方平台( 如: Google,Facebook等) 可以很容易的访问和抓取数据。用户的个人信息,社交网络,地理位置,用户生成的数据和用户操作日志已经成倍的增加。我们如果要对这些用户数据进行挖掘,那SQL数据库已经不适合这些应用了,NoSQL数据库的发展也却能很好的处理这些大的数据。

2.是什么

NoSQL(NoSQL = Not Only SQL),意即“不仅仅是SQL”,泛指非关系型的数据库
传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL 数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题,包括超大规模数据的存储。

例如谷歌或Facebook每天为他们的用户收集万亿比特的数据,正因为这些类型的数据存储不需要固定的模式,所以使用NoSQL结构进行存储,这样无需多余操作就可以横向扩展

3 优点

  • 易扩展
    NoSQL数据库种类繁多,但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系,这样就非常容易扩展。也无形之间,在架构的层面上带来了可扩展的能力。
  • 大数据量高性能
    NoSQL数据库都具有非常高的读写性能,尤其在大数据量下,同样表现优秀。这得益于它的无关系性,数据库的结构简单。一般MySQL使用Query Cache,每次表的更新Cache就失效,是一种大粒度的Cache,在针对web2.0的交互频繁的应用,Cache性能不高,而NoSQL的Cache是记录级的,是一种细粒度的Cache,所以NoSQL在这个层面上来说就要性能高很多了。
  • 多样灵活的数据模型
    NoSQL无需事先为要存储的数据建立字段,随时可以存储自定义的数据格式。而在关系数据库里,增删字段是一件非常麻烦的事情。如果是非常大数据量的表,增加字段简直就是一个噩梦。
  • NOSQL便于查询复杂数据和便于表达复杂关系,是因为NOSQL大胆放弃了表结构采用json格式来表示的

4 传统RDBMS VS NOSQL

RDBMS特点①严格的一致性②结构化查询语言(SQL)③高度组织话的结构数据④数据和关系都无法脱离表④基础事物ACID
NOSQL特点①不仅仅是sql②事物非ACID,只是保证最终一致性③键值对存储,类似于HashMap
总之:Redis=KV+Persistant+Cache

扩展:大数据时代的3V:①Volume海量②Varity多样③Velocity实时;三高是①高并发②高可扩③高性能

Alibaba中文站商品信息应用案例

SQL和NoSQL双剑合璧
1 对于冷信息,例如商品的基本信息,名称、价格,出厂日期,生产厂商,在建表之初设计好后除了读以外不会有太多写操作的数据,我们直接用关系型数据库来存储
2 商品描述、详情、评价信息(多文字类),多文字信息描述类,IO读写性能变差
推荐使用文档数据库MongDB
3 商品的图片:分布式的文件系统中,淘宝自家TFS,Google的GFS,Hadoop的HDFS
4 商品的关键字,淘宝自家,ISearch
5 商品的波段性的热点高频信息(如,情人节的巧克力),内存数据库Tair、Redis、Memcache
6商品的交易、价格计算、积分累计外部系统,外部第3方支付接口支付宝

.NoSQL数据模型简介
1、传统关系型数据库如何设计
ER图(1:1、1:N、N:1)主外键等
2、NOSQL如何设计
BSON ()是一种类json的一种二进制形式的存储格式,简称Binary JSON,它和JSON一样,支持内嵌的文档对象和数组对象
3、为什么用聚合模型来处理
高并发的操作是不太建议用关联查询的,互联网公司用冗余数据(地址栏中有多个重复的地址行数据,除了)来避免关联查询,分布式事务是支持不了太多的并发的

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 游动-白 设计师:白松林 返回首页