书山有路勤为径,学海无涯苦作舟
NoSQL
了解NoSQL演变
1、单机MySQL时代
90年代,一个基本的网站访问量一般不会太大,单个数据库完全足够!
那个时候,更多的去使用静态网页Html~服务器没有太大的压力!
思考一下,这种情况下:整个网站的瓶颈是什么?
1、数据量太大,一个机器放不下
2、数据索引(B+Tree),一个机器内存放不下
3、访问量(读写混合),一个服务器承受不了
只要开始出现以上三种情况之一,那么就需要晋级
2、Memcached(缓存)+MySQL+垂直拆分
网站80%的情况下都是在读,每次都要去查询数据库的话就十分麻烦!所以我们希望减轻数据库的压力,我们可以使用缓存来保证效率!
发展过程:优化数据结构和索引–>文件缓存(IO)–>Memcached(当时最热门技术!)
3、分库分表+水平拆分+MySQL集群
本质:数据库(读、写)
早些年MyISAM:表锁,十分影响效率!高并发下会出现严重的锁问题
之后转战Innodb行锁,然后慢慢使用mysql分库分表解决写的压力,后来推出MySQL的集群,满足了那个年代的需求
4、最近年代
2010-2020年间,世界发生了翻天覆地的变化;(定位、音乐、热榜)
MySQL等关系型数据库不够用,数据量很大,而且变化很快
MySQL有的使用它来存储一些比较大的文件,博客,图片。数据库表很大效率降低,如果有一种数据库专门来处理这种数据,MySQL压力就变的十分小。
5、为什么用NoSQL
用户的个人信息、社交网络、地理位置、用户自己产生的数据、用户的日志模式等等爆发式增长
这个时候我们就需要使用NoSQL数据库,NoSQL可以很好的处理以上情况!
什么是NoSQL
1、NoSQL
NoSQL = Not Only SQL(不仅仅是SQL)
关系型数据库:表格、行、列
泛指非关系型数据库,NoSQL在当今大数据环境下发展的十分迅速,Redis是发展最快的,而且是我们当下必须要掌握的一个技术!
很多的数据类型用户的个人信息,社交网络,地理位置。这些数据类型的存储不需要一个固定的格式!不需要越多的操作就可以横向扩展。Map<String,Object>使用键值对来控制!
2、NoSQL特点
解耦
1、方便扩展(数据之间没有关系,很好扩展)
2、大数据量高性能(Redis一秒写8万次,读取11万次,NoSQL的缓存记录级,是一种细粒度的缓存,性能会比较高!)
3、数据类型是多样型的(不需要事先设计数据库,随取随用)
4、传统RDBMS和NoSQL
传统的RDBMS
- 结构化组织
- SQL
- 数据和关系都存在单独的表中
- 数据操作,数据定义语言
- 严格的一致性
- 基础的事务
- ......
NoSQL
- 不仅仅是数据
- 没有固定的查询语言
- 简直对存储,列存储,文档存储,图形数据库(社交关系)
- 最终一致性
- CAP定理和BASE
- 高性能,高可用,高可扩
- ......
了解:3V+3高
大数据时代的3V:主要是描述问题的
1、海量Volume
2、多样Variety
3、试试Velocity
大数据时代的3高:主要是对程序的要求
1、高并发
2、高可扩
3、高性能
NoSQL的四大分类
KV键值对:
- 新浪:Redis
- 美团:Redis+Tair
- 阿里、百度:Redis+memcache
文档型数据库(bson格式和json一样):
- MongoDB(一般必须掌握)
-
- MongoDB是一个基于分布式文件存储的数据库,C++编写,主要用来处理大量的文档
-
- MongoDB是一个介于关系型数据库和非关系型数据库中间的产品,MongoDB是非关系型数据库中功能最丰富,最像关系型数据库的
- ConthDB
列存储数据库
- HBase
- 分布式文件系统
** 图形关系数据库 ** - 他不是存图行,放的是关系,比如:朋友圈社交网络,广告推荐!
- Neo4j,InfoGrid
四者对比
分类 | Examples举例 | 典型应用场景 | 数据模型 | 优点 | 缺点 |
---|---|---|---|---|---|
键值(key-value | Tokyo,Cabinet/Tyrant,Redis,Voldemort,Oracle BDB | 内容缓存,主要用于处理大量数据的高访问负载,也用于一些日志系统等等 | Key指向Value的键值对,通常用hash table来实现 | 查找速度快 | 数据无结构化,通常只被当作字符串或者二进制数据 |
列存储数据库 | Cassandra,HBase,Riak | 分布式的文件系统 | 以列簇式存储,将同一列数据存在一起 | 查找速度快,可扩展性强,更容易进行分布式扩展 | 功能相对局限 |
文档型数据库 | CouchDB,MongoDb | Web应用(与Key-Value类似,Value是结构化的,不同的是数据库能够了解Value的内容) | Key-Value对应的键值对,Value为结构化数据 | 数据结构要求不严格,表结构可变,不需要像关系型数据库一样需要预先定义表结构 | 查询性能不高,而且缺乏统一的查询语法 |
图形(Graph)数 | Neo4J,InfoGrid,Infunite Graph | 社交网络,推荐系统等,专注于构建 | 图结构 | 利用图结构相关算法 | 很多时候需要对整个图做计算 |