这场长征
从摩肩接踵走到踽踽独行
年轻的人们为了共同的梦想相互温暖
又难免为了各自的梦想互道珍重
只是那些曾经鲜活的伙伴
就这样成为离去的背影
越走越远
消失在视野里
也消失在生命里
redis是非关系型数据库
为什么使用Nosql
我们现在处于21世纪,处于大数据时代。大数据一般的关系型数据库是无法进行分析处理的!
历史演进:
1.单机Mysql的年代:读写在单机
90年代,一个基本的网站访问量一般不会太大,单个数据库完全足够!
那个时候,更多的去使用静态网页Html~服务器根本没有太大的压力!
这种情况下:整个网站的瓶颈是什么?(单机mysql的弊端)
1、数据量如果太大、一个机器放不下了!
2、数据的索引( B+ Tree ) ,mysql数据量超过300万条就会建立索引,一个机器内存放不下!
3、访问量(读写混合),一个服务器承受不了!
只要你开始出现以上的三种情况之一,那么你就必须要晋级!
2、Memcached(缓存)+MySQL+垂直拆分(读写分离):使用缓存解决读的问题
网站80%的情况都是在读,每次都要去查询数据库的话就十分的麻烦!所以说我们希望减轻数据的压力,我们可以使用缓存来保证效率!
发展过程:优化mysql底层数据结构和索引—>文件缓存(IO效率不高 )—>Memcached
3、分库分表+水平拆分+MySQL集群
本质∶数据库(读,写)
早些年MylSAM︰表锁,十分影响效率!高并发下就会出现严重的锁问题
转战Innodb :行锁
慢慢的就开始使用分库分表来解决写的压力!MySQL在哪个年代推出了表分区!这个并没有多少公司使用!
MySQL的集群,很好满足哪个年代的所有需求!
4.当今年代
2010–2020十年之间,世界已经发生了翻天覆地的变化;(定位,也是一种数据,音乐,热榜!)
MySQL等关系型数据库就不够用了!数据量很多,变化很快 !
MySQL有的使用它来存储一些比较大的文件,博客,图片!数据库表很大,效率就低了!如果有一种数据库来专门处理这种数据,MySQL压力就变得十分小(研究如何处理这些问题!)大数据的IO压力下,表几乎没法更大!
目前一个基本的互联网项目
为什么使用Nosql
用户的个人信息,社交网络,地理位置。用户自己产生的数据,用户日志等等爆发式增长!
这时候我们就需要使用NoSQL数据库,Nosql可以很好的处理以上的情况!
什么是Nosql
NoSQL = Not Only SQL(不仅仅是SQL)
关系型数据库∶表格,行,列
泛指非关系型数据库的,随着web2.0互联网的诞生!传统的关系型数据库很难对付web2.0时代!尤其是超大规模的高并发的社区!暴露出来很多难以克服的问题,NoSQL在当今大数据环境下发展的十分迅速,Redis是发展最快的。
很多的数据类型用户的个人信息,社交网络,地理位置。这些数据类型的存储不需要一个固定的格式!不需要多余的操作就可以横向扩展的! 实现:Map<String,Object>使用键值对来控制!
Nosql特点
1、方便扩展(数据之间没有关系,很好扩展!)
2、大数据量高性能(Redis一秒写8万次,读取11万,NoSQL的缓存记录级,是一种细粒度的缓存,性能会比较高!)
3、数据类型是多样型的!(不需要事先设计数据库!随取随用!如果是数据量十分大的表,很多人就无法设计了!)
4、传统RDBMS和NoSQL
传统的 RDBMS
- 结构化组织-
- SQL
- 数据和关系都存在单独的表中 row col
- 操作操作,数据定义语言
- 严格的一致性:ACID
- 基础的事务
Nosql
- 不仅仅是数据
- 没有固定的查询语言
- 键值对存储,列存储,文档存储,图形数据库(社交关系)
- 最终一致性,
- CAP定理和BASE(异地多活)初级架构师!
- 高性能,高可用,高可扩
了解:3V+3高
大数据时代的3V︰主要是描述问题的
1.海量Volume
2.多样Variety
3.实时Velocity
大数据时代的3高:主要是对程序的要求
1.高并发
2.高可扩:(随时水平拆分,机器不够了,可以扩展机器来解决)
3.高性能
大型网页所展示的数据来源
#1、商品的基本信息
名称、价格下商家信息;
关系型数据库就可以解决了! MysQL / Oracle(淘宝早年就去IOE了!)
淘宝内部的MysQL不是大家用的 MysQL
#2、商品的描述、评论(文字比较多)
文档型数据库中,MongoDB
#3、图片
分布式文件系统FastDFS-淘宝自己的TFS
- Gooale的 GFS
- Hadoop HDFS
- 阿里云的 oss
#4、商品的关键字(搜索)
- 搜索引擎 solr elasticsearch
- Iserach:多隆(多去了解一下这些技术大佬!)
#5、商品热门的波段信息
- 内存数据库
- Redis Tair、Memache. . .
#6、商品的交易,外部的支付接口
- 三方应用
要知道,一个简单地网页背后的技术一定不是大家所想的那么简单!
大型互联网应用问题:
· 数据类型太多了!
· 数据源繁多,经常重构!
· 数据要改造,大面积改造?
解决问题
Nosql的四大分类
键值对存储数据库(KV键值对)
-
新浪:Redis
-
美团:Redis + Tair
-
阿里、百度:Redis + memecache
列存储数据库
- HBase
- 分布式文件系统
文档存储型数据库( bson格式和json一样)
-
MongoDB
MongoDB是一个基于分布式文件存储的数据库,C++编写,主要用来处理大量的文档!
MorigoDB是一个介于关系型数据库和非关系型数据中间的产品! MongoDB是非关系型数据库中功能最丰富,最像关系型数据库的! -
ConthDB
图型关系型数据库
- 他不是存图形,放的是关系,比如∶朋友圈社交网络,广告推荐!
- Ne04j,InfoGrid;
四者对比