可以在bilibili搜索Redis来学习视频 (狂神说)
Nosql概述
为什么要用?
1、 单机MySql的年代
90年代,一个基本的网站访问连不会太大,单个数据库完全足够。那时更多的去使用静态网页HTML,服务器没有太大压力,所以单机mysql够用。
这种情况下整个网站瓶颈
1)数据量如果太大,一个机器放不下
2) 数据的索引(B+Tree),一个机器内存放不下
3) 访问量(读写混合一体),一个服务器承受不来
一旦开始出现其中之一就得晋级。
2、 Memcached(缓存)+MySQL+垂直拆分(读写分离)
网站80%的情况都在读,如果每次都去查询数据库就十分麻烦。所以我们希望减轻数据库的压力,使用缓存来保证效率。缓存主要是解决读的问题
发展过程:优化数据结和索引文件缓存(IO) Memcached(当时最热门的技术)
3、 分库分表+水平拆分+MySQL集群
技术和业务在发展的同时,对人的要求也越来越高
本质:数据库(读,写)
早些年MyISAM:表锁(例如你查一个人的名字,就会把整张表给锁定,直到找到为止),十分影响效率,高并发下就会出现严重的锁问题
转战InnoDB:行锁
慢慢就开始使用分库分表来解决写的压力!MySQL在当时推出了表分区,然后没有多少公司使用。
MySQL的集群,,很好满足那个年代的所有需求。
4、最近的年代
2010-2020年十年之间,世界已经发生翻天覆地的变化;(定位,也是一种数据,音乐,热榜)
MySQL等关系型数据库不够用了,数据量很多,变化很快
MySQL有的使用它来存储一些比较大的文件,博客,图片!数据库表很大,效率就低了。这时,如果有一种数据库来专门处理这种数据,MySQL压力就变得十分小(研究如何处理这些问题)大数据的IO压力下,表几乎没法更改。
目前一个基本的互联网项目
为什么要用NoSQL
用户个人信息,社交网络,地理位置。用户自己产生的数据,用户日志等等爆发式增长。
这时就需要使用NoSQL数据库,NoSQL可以很好的处理以上的情况
什么是NoSQL
NoSQL(Not Only SQL)泛指非关系型数据库(表格、行、列【POI】),随着web2.0互联网的诞生,传统的关系型数据库很难对付web2.0时代,尤其是超大规模的高并发的社区,暴露出来很多难以克服的问题,NoSQL在当今大数据环境下发展的十分迅速。Redis是发展最快的,而且是我们当下必须要掌握的一个技术
很多的数据类型:用户个人信息,社交网络,地理位置。这些数据类型的存储不需要一个固定的格式(行、列),不需要多余的操作就可以横向扩展的。Map<String,Object>使用键值对来控制
NoSQL特点
解耦
1、 方便扩展(数据之间没有关系,很好扩展)
2、 大数据量高性能(Redis一秒写8万次,读取11万,NoSQL的缓存记录级,是一种细粒度的缓存,性能会比较高)
3、 数据类型是多样型的(不需要事先设计数据库,随取随用,如果是数据量十分大的表,很多人就无法设计了)
4、 传统RDBMS和NoSQL
传统RDBMS(关系型数据库):
1)结构化组织
2) SQL
3) 数据和关系都存在单独的表中
4) 操作CRUD,数据定义语言
5) 严格的一致性
6) 基础的事务
7) ……
NoSQL
1)不仅仅是数据
2) 没有固定的查询语言
3) 键值对存储,列存储,文档存储,图形数据库(社交关系)
4) 最终一致性
5) CAP定理和BASE(异地多活)
6) 高性能,高可用,高可扩展
7) ……
了解3V+3高
大数据时代的3V:主要是描述问题的
1、 海量Volume
2、 多样Variety
3、 实时Velocity
大数据时代的3高:主要是对程序的要求
1、 高并发
2、 髙可拓(随时水平拆分)
3、 高性能(保证用户体验和性能)
在公司中的实践:RDBMS + NoSQL一起使用
阿里的演进分析
Nosql的四大分类
KV键值对
- 新浪:Redis
- 美团:Redis + Tair
- 阿里、百度:Redis + Memecache
文档型数据库
- MongoDB(一般必须要掌握)
- MongoDB是一个基于分布式文件存储的数据库,c++编写,主要用来处理大量的文档
- MongoDB是一个介于关系型数据库和非关系型数据库中中间的产品。MongoDB是非关系型数据库中功能最最丰富,最像关系型数据库的
- ConthDB
列存储数据库
- HBase
- 分布式文件系统
图型(Graph)关系数据库
可以去搜索看看
- 不是存图形的,放的是关系,eg:朋友圈社交网络,广告推荐
- Neo4j,InfoGrid
这四者的对比
分类 | Examples举例 | 典型应用场景 | 数据模型 | 优点 | 缺点 |
---|---|---|---|---|---|
键值(key-value) | Tokyo Cabinet/Tyrant, Redis, Voldemort, Oracle BDB | 内容缓存,主要用于处理大量数据的高访问负载,也用于一些日志系统等等。 | Key 指向 Value 的键值对,通常用hash table来实现 | 查找速度快 | 数据无结构化,通常只被当作字符串或者二进制数据 |
列存储数据库 | Cassandra, HBase, Riak | 分布式的文件系统 | 以列簇式存储,将同一列数据存在一起 | 查找速度快,可扩展性强,更容易进行分布式扩展 | 功能相对局限 |
文档型数据库 | CouchDB, MongoDb | Web应用(与Key-Value类似,Value是结构化的,不同的是数据库能够了解Value的内容) | Key-Value对应的键值对,Value为结构化数据 | 数据结构要求不严格,表结构可变,不需要像关系型数据库一样需要预先定义表结构 | 查询性能不高,而且缺乏统一的查询语法。 |
图形(Graph)数据库 | Neo4J, InfoGrid, Infinite Graph | 社交网络,推荐系统等。专注于构建关系图谱 | 图结构 | 利用图结构相关算法。比如最短路径寻址,N度关系查找等 | 很多时候需要对整个图做计算才能得出需要的信息,而且这种结构不太好做分布式的集群方案。 |