为什么要用Nosql
单机 MySql 的时代
90年代,一个基本的网站访问量一般不会太大,单个数据库完全足够!那个时候,更多的去使用静态网页Html ~服务器根本没有太大的压力!思考一下,这种情况下:整个网站的瓶颈是什么?
- 数据量如果太大,一个机器放不下了!
- 数据的索引(B+ Tree),一个机器内存也放不下
- 访问量(读写混合),一个服务器承受不了~
Memcached (缓存) + MySQL +垂直拆分
网站80%的情况都是在读,每次都要去查询数据库的话就+分的麻烦!所以说我们希望减轻数据的压力,我们可以使用缓存来保证
效率!
发展过程:优化数据结构和索引-->文件缓存( I0 )-->Memcached (当时最热门的技术! )
当今的企业架构分析
分库分表 + 水平拆分 + MySQL集群
本质:数据库(读.写)
早些年MyISAM:表锁,十分影响效率!高并发下就会出现严重的锁问题
转战Innodb:行锁
慢慢的就开始使用分库分表来解决写的压力!
如今最近的年代
2010--2020十年之间,世界已经发生了翻天覆地的变化; ( 定位,也是一种数据, 音乐,热榜!)
MySQL等关系型数据库就不够用了!数据量很多,变化很快!
MySQL有的使用它来存一些比较大的文件,博客,图片!数据库表很大,效率就低了!如果有一种数据库来专门处理这种数据
MySQL压力就变得十分小(研究如何处理这些问题! ) 大数据的 IO 压力下,表几乎没法更大!
目前一个基本的互联网项目
为什么要用NoSQL
用户的个人信息,社交网络.地理位置。用户自己产生的数据,用户日志等等爆发式增长。
这时候我们就需要使用NoSQL数据库的。Nosql 可以很好的处理以上的情况。
什么是NoSQL
NoSQL = Not Only SQL (不仅仅是SQL )
关系型数据库:表格,行,列
泛指非关系型数据库的,随着web2.0互联网的诞生。传统的关系型数据库很难对付web2.0时代。尤其是超大规模的高井发的社
区。暴露出来很多难以克服的问题, NoSQL在当今大数据环境下发展的十分迅速,Redis是发展最快的,而且是我们当下必须要掌
握的一个技术。
很多的数据类型用户的个人信息,社交网络,地理位置。这些数据类型的存储不需要一个固定的格式!不需要多月的操作就可以横
向扩展的。 Map<string,Object> 使用键值对来控制。
NoSQL的特点
解耦!
- 方便扩展(数据之间没有关系,很好扩展 )
- 大数据量高性能( Redis一秒写8万次,读取11万, NoSQL的缓存记录级,是-一种细粒度的缓存,性能会比较高)
- 数据类型是多样型的 ( 不需要事先设计数据库,随取随用!如果是数据量十分大的表,很多人就无法设计了 )
- 传统 RDBMS 和 NoSQL
传统的RDBMS
- 结构化组织
- SQL
- 数据和关系都存在单独的表中
- 操作语言,数据定义语言
- 严格的一致性
- 基础的事务
Nosq1
- 不仅仅是数据
- 没有固定的查询语言
- 键值对存储,列存储。文档存储,图形数据库(社交关系)
- 最终一致性
- CAP定理 和 BASE (异地多活)
- 高性能,高可用,高可扩
了解:3V+ 3高
大数据时代的3V:主要是描述问题的
- 海量 Volume
- 多样 Variety
- 实时 Velocity
大数据时代的3高:主要是对程序的要求
- 高并发
- 高可拓
- 高性能
NoSQL的四大分类
KV键值对
- 新浪: Redis
- 美团: Redis + Tair
- 阿里、百度:Redis + memecache
文档型数据库( bson格式和json一样)
- MongoDB ( -般必须要掌握)
- MongoDB是一 个基于分布式文件存储的数据库,C++编写,主要用来处理大量的文档
- MongoDB是一 个介于关系型数据库和非关系型数据中中间的产品,MongoDB是非关系型数据库中功能最丰富,最像关
系型数据库的
- ConthDB
列存储数据库
- HBase
- 分布式文件系统
图关系数据库
它不是存图形,放的是关系,比如:朋友圈社交网络,广告推荐
Neo4j ,InfoGrid ;
分类 | 举例 | 典型应用场景 | 数据模型 | 优点 | 缺点 |
---|---|---|---|---|---|
键值(key-value) | Tokyo Cabinet / Tyrant,Redis, Voldemort,Oracle BDB | 内容缓存,主要用于处理大量数据的高访问负载,也用于一些日志系统等等。 | Key 指向 Value 的键值对,通常用hash table来实现 | 查找速度快 | 数据无结构化,通常只被当作字符串或者二进制数据 |
列存储数据库 | Cassandra, HBase,Riak | 分布式的文件系统 | 以列簇式存储,将同一列数据存在一起 | 查找速度快,可扩展性强, 更容易进行分布式扩展 | 功能相对局限 |
文档型数据库 | CouchDB, MongoDb | Web应用(与Key-Value 类似,Value是结构化的,不同的是数据库能够了解Value的内容) | Key-Value对应的键值对,Value为结构化数据 | 数据结构要求不严格 ,表结构可变,不需要像关系型数据库一样需要预先定义表结构 | 查询性能不高,而且缺乏统-的查询语法 |
图形(Graph)数据库 | Neo4J, InfoGind,Infinite Graph | 社交网络,推荐系统等。专注于构建关系图谱 | 图结构 | 利用图结构相关算法。比如最短路径寻址,N度关系查找等 | 很多时候需要对整个图做计算才能得出需要的信息 ,而且这种系查找等的集群方案 |