文章目录
1.1、为什么要用Nosql
1.1.1、单机MySQL的年代
90年代,一个基本的网站访问量一般不会太大,单个数据库完全足够!
那个时候,更多的是取使用静态网页 Html ~ 服务器根本没有太大的压力!
思考一下,这种情况下,整个网站的瓶颈是什么?
- 数据量如果太大,一个机器放不下
- 数据的索引(B+Tree),一个机器内存也放不下
- 访问量(读写混合),一个服务器承受不了~
只要你开始出现以上的三种情况之一,那么你就必须晋级!
1.1.2、Memcached(缓存)+Mysql + 垂直拆分(读写分离)
网站80%的情况都在读,每次都要去查询数据的话就十分麻烦!所以说我们希望减轻数据的压力,我们可以使用缓存来保存效率!
发展过程:优化数据结构和索引 --> 文件缓存(IO)–> Memcached(当时最热门的技术!)
1.1.3、分库分表 + 水平拆分 + Mysql集群
技术和业务的发展的同时,对人的要求也越来越高!
本质:数据库(读,写)
早些年MyISAM:表锁,十分影响效率!高并发下就会出现严重的锁问题,
早些年Innodb:行锁
慢慢的就开始使用分库分表来解决写的压力!MySQL在那个年代推出了表分区!这个并没有多少公司使用!
MySQL的集群,很好满足了那个年代的所有需求!
1.1.4、如今最近的年代
2010–2020 十年之间,世界已经发生了翻天覆地的变化;(定位,也是一种数据,音乐,热榜!)
MySQL 等关系型数据库就不够用了!数据量很多,变化很快~!
MySQL 有的使用它来存储一些比较大的文件,博客,图片!数据库表很大,效率就低了!如果有一种数
据库来专门处理这种数据,
MySQL压力就变得十分小(研究如何处理这些问题!)大数据的IO压力下,表几乎没法更大
1.1.5、目前一个基本的互联网项目
1.1.6、为什么要用NoSQL
用户的个人信息,社交网络,地理位置。用户自己产生的数据,用户日志等等爆发式增长!
这时候我们就需要使用NoSQL数据库的,Nosql 可以很好的处理以上的情况!
1.2、什么是NoSQL
1.2.1、NoSQL
NoSQL = Not Only SQL(不仅仅是SQL)
关系型数据库:表格,行,列
泛指非关系型数据库的,随着web2.0互联网的诞生!传统的关系型数据库很难对付web2.0时代!尤其是超大规模的高并发的社区!暴露出来很多难以克服的问题,NoSQL在当今大数据环境下发展的十分迅速,Redis是发展最快的,而且是我们当下必须要掌握的一个技术!
很多的数据类型用户的个人信息,社交网络,地理位置。这些数据类型的存储不需要一个固定的格式!不需要多余的操作就可以横向扩展! 使用键值对来控制!
1.2.2、NoSQL特点
- 方便扩展(数据之间没有关系,很好扩展!)
- 大数据量高性能(Redis一秒写8万次,读取11万,NoSQL的缓存是记录级,是一种细粒度的缓存,性能会比较高!)
- 数据类型是多样型的!(不需要实现设计数据库!随取随用!如果是数据量十分大的表,很多人就无法设计了!)
- 传统的 RDBMS (关系型数据库)和 NoSQL(非关系型数据库)
传统的RDBMS
- 结构化组织
- SQL
- 数据和关系存在独立的表中
- 数据操作语言,数据定义语言
- 严格的一致性
- 基础的事务操作
NosQL
- 不仅仅是数据
- 没有固定的查询语言
- 键值对存储,列存储,文档存储,图形数据关系(社交关系)
- 最终一致性
- CAP 定理和 BASE(异地多活)
- 高性能,高可用,高可扩
1.2.3、了解 3V + 3高
大数据时代的3V:主要是描述问题的
- 海量Volume
- 多样Variety
- 实时Velocity
大数据时代的3高:主要是对程序的要求
- 高并发
- 高可扩
- 高性能
真正在公司中的实践:NoSQL + RDBMS 一起使用才是最强的,阿里巴巴的架构演进!
1.3、阿里巴巴演进分析
这么多东西难道都是在一个数据库中吗?
任何一家互联网的公司,都不可能只是简简单单让用户能用就好了!
大量公司做的都是相同的业务;(竞品协议)
随着这样的竞争,业务是越来越完善,然后对于开发者的要求也是越来越高!
如果你未来想当一个架构师: 没有什么是加一层解决不了的!
# 1、商品的基本信息
名称、价格、商家信息;
关系型数据库就可以解决! MySQL / Oracle (淘宝早年就去IOE了! - 王坚)
淘宝内部的MySQL不是大家用的MySQL
# 2、商品的描述、评论(文字比较多)
文档型数据库:MongoDB
# 3、图片
分布式文件系统 FastDFS
- 淘宝自己的 TFS
- Gooale的 GFS
- Hadoop Hdfs
- 阿里云的 oss
# 4、商品的关键字(搜索)
- 搜索引擎 solr elasticsearch
- ISearch: 多隆(阿里大牛)
# 5、商品热门的波段信息
- 内存数据库
- Redis Tair、Memache...
# 6、商品的交易,外部的支付接口
- 三方应用
要知道一个简单的网页背后的技术一定不是大家所想的那么简单!
大型互联网应用问题:
- 数据类型太多了
- 数据源繁多,经常重构
- 数据要改造,大面积改造
解决问题:
1.4、NoSQL的四大分类
KV键值对:
- 新浪:Redis
- 美团:Redis+ Tair
- 阿里、百度: Redis + memecache
文档型数据库:(bson 格式 和json一样):
-
MongoDB(一般必须要掌握)
- MongoDB 是一个基于分布式文件存储的数据库,c++编写,主要用来处理大量的文档!
- MongoDB是一个介于关系型数据库和非关系型数据库中中间的产品!MongoDB是非关系型数据库中功能最丰富,最像关系型数据库的!
-
ContchDB
列存储数据库
- HBase
- 分布式文件系统
图形关系数据库
- 它不是存图形的,放的是关系,比如:朋友圈社交网络,广告推荐!
- Neo4j,InfoGrid