MySQL、redis和MongoDB汇总简述

MySQL、redis和MongoDB简述

SQL数据库与NoSQL数据库

• SQL数据库：关系型数据库，常用的有MySQL、SQLServer；
• NoSQL数据库：非关系型数据库，常用的有MongoDB，包含了一下四种类型：
  • 键值数据库：如redis，应用在内容缓存；
  • 列族数据库：如BigTable，应用在分布式数据存储与管理；
  • 文档数据库：如MongoDB,应用在存储、索引并管理文档的数据或者类似的半结构化数据；
  • 图形数据库：如Neo4J，应用在图结构场合。
• 二者的区别：
  • SQL数据库使用关系型的表存储数据。NoSQL数据库使用类JSON的键值对来存储文档；
  • SQL数据库中，除非先定义表和字段，否则无法向其中添加数据。NoSQL数据库中，数据任何时候都可以添加，不需要事先去定义文档和集合；
  • SQL数据库具有数据库的规范化。NoSQL数据库虽然可以同样使用规范化，但是更倾向非规范化；
  • SQL数据库具有JOIN操作，NoSQL数据库则没有；
  • SQL数据库具有数据完整性，NoSQL数据库则不具备数据完整性约束，可以存储任何想存储的数据；
  • SQL数据库需要自定义事物，NoSQL数据库操作单个文档时具备事务性，而操作多个文档时则不具备事务性；
  • SQL数据库使用SQL语言，NoSQL数据库使用类JSON；
  • NOSQL数据库比SQL数据库更快。
• SQL数据库
  • 使用表存储相关数据；
  • 在使用表之前需要先定义表的模式；
  • 鼓励使用规范化来减少数据的冗余；
  • 支持使用JOIN操作，使用一条SQL语句从多张表中取出相关数据；
  • 需要满足数据完整性约束规则；
  • 使用事务来保证数据的一致性；
  • 能够大规模使用；
  • 使用强大的SQL语言进行查询操作。
• NoSQL数据库
  • 使用类JSON格式的文档来存储键值对信息；
  • 存储数据不需要特定的模式；
  • 使用非规范化的标准存储信息，以保证一个文档中包含一个条目的所有信息；
  • 不需要使用JOIN操作；
  • 允许数据不通过验证就可以存储到任意的位置；
  • 保证更新的单个文档，而不是多个文档；
  • 提供卓越的性能和可扩展性；
  • 使用JSON数据对象进行查询。

关于redis

• redis是一个使用C语言编写的，开源的高性能非关系型的键值对数据库。有五大数据类型，包括String、List、Set、Sortdset、Hash。
• 为什么要用redis[缓存]：
  • 高性能：用户第一次读取数据，因为是从硬盘上读取，过程会比较慢。将其缓存起来，下一次再访问的时候，就可以从缓存中读取。如果数据库中对应的数据改变，同步缓存中的数据即可。
  • 高并发：直接操作缓存能够承受的请求远远大于直接访问数据库。
• 缓存异常[击穿、穿透、雪崩]
  • 缓存击穿：高并发请求下，某些热门的key突然过期，导致不能从redis中获取缓存数据，进而大量的请求直接访问数据库，给数据库造成极大的压力；
    • 解决方法：
      • 设置热门key永不过期；
      • 定期检测将要过期的key，然后在将要过期时重新从数据库中把数据刷新到缓存中，但这样的话增加了系统复杂度，实现比较复杂；
      • 利用互斥锁，在缓存中没有数据去数据库中查询时加上锁，让一个线程去查询数据库以及更新缓存，其他线程等待，这样减少数据库压力。
  • 缓存穿透：指查询缓存和DB中不存在的数据。先查询缓存为null，再查询数据库依然为null，如果大量请求同时访问这些不存在的key，那么这些请求依然会造成压垮数据库的现象。
    • 解决方法：
      • 布隆过滤器，把一定不存在的key过滤掉，从而避免这些恶意攻击对数据库造成的压力；
      • 如果查询结果为空，不管是数据不存在还是系统故障，仍然把这个空结果进行缓存，但要设置一个很短的过期时间，最长不超过5min。
  • 缓存雪崩：缓存中如果大量缓存在一段时间内集中过期，这时会发生大量的缓存击穿现象，所有的请求都落到了DB上，由于数据量巨大，引起DB压力过大甚至DB宕机。
    • 解决方法：
      • 给缓存的时间加一个随机值，不让它们在同一时刻过期；如果集群部署，让他们分布到不同的redis库也能避免全部失效问题；
      • 使用互斥锁，但是吞吐量明显下降；
      • 设置热点数据永不过期；
      • 设置双缓存，a缓存设置失效时间，b缓存不设置失效时间；如果a缓存中有数据则直接返回，如果没有就从b缓存中去找，直接返回，并启动一个更新线程，同步更新a缓存和b缓存。
• 主从复用与主备切换
  • 主从复用
    • 读写分离：主机数据更新后根据配置和策略，自动同步到备机的master/slaver机制，master以写为主，slaver以读为主；
    • 容灾快速恢复：从服务器挂掉，再读读不到，可以根据策略让其读别的从服务器；
  • 主备切换
    • 哨兵机制：配置哨兵一直去ping这个主服务器，如果在一定时间内没有ping到，认为主服务器挂掉，一半以上的哨兵都认为主服务器挂掉，主服务器就挂掉了，之后会进行一个选举投票，一半以上的哨兵认为某个从服务器可以选举成为主服务器，那么这个从服务器就可以变为主服务器，已经挂掉的主服务器重新恢复自动变更为从服务器。
• 持久化机制
  • 持久化就是把内存中的数据存放到磁盘中，防止宕机后内存数据丢失；
  • Redis DataBase [RDB]:默认的持久化方式，按照指定的时间间隔内将内存的数据以快照的形式保存到硬盘当中，对应产生的数据文件为dump.rdb,可通过配置定义周期。恢复时，将rdb文件放到redis的启动目录上，redis会自动检查dump.rdb文件，恢复数据；
    • 具体操作：
      • 当满足条件时，redis需要执行RDB的时候会执行以下操作：
        • 1，redis调用系统的fork函数创建一个子进程；
        • 2，子进程将数据集写入一个临时的RDB文件；
        • 3，当子进程完成对临时的RDB文件写入时，redis用新的RDB文件替换旧的RDB文件。
    • 优点：
      • 适合大规模的数据恢复（使用单独子进程来进行持久化，主进程不会进行任何IO操作，保证了redis的高性能）。
    • 缺点：
      • 需要一定的时间间隔来进行操作，无法做到实时持久化，所以适合对数据完整性不高的持久化操作；
      • fork子进程的时候，会占用一定的内存空间；
  • Append Only File [AOP]:默认不使用，将redis执行的每次写命令记录到日志文件中，当重启Redis会加载appendonly.aof文件来恢复数据。
    • AOF是存放每条写命令的，所以会不断的增大，当大到一定程度时，AOF会做rewrite操作，rewrite操作就是基于当时redis的数据重新构造一个小的AOF文件，然后将大的AOF文件删除。
    • 优点：
      • AOF日志文件适合做灾难性的误删除紧急恢复；
      • 每进行一次命令操作就记录到aof文件中一次，保证了数据的安全性和完整性；
      • AOF以append-only的模式写入，所以没有任何的磁盘寻址的开销，写入性能非常的高。
    • 缺点：
      • AOF文件比RDB文件大，且恢复速度慢。
• Redis数据淘汰策略【redis数据集大小上升到一定大小的时候，会施行数据淘汰策略】
  • noeviction(默认策略)：对于写请求不再提供服务，直接返回错误；
  • allkeys-lru：从所有key中使用LRU算法进行淘汰；
  • volatile-lru：从设置了过期时间的key中使用LRU算法进行淘汰；
  • allkeys-random：从所有key中随机淘汰数据；
  • volatile-random：从设置了过期时间的key中随机淘汰；
  • volatile-ttl：在设置了过期时间的key中，淘汰过期时间剩余最短的；
  • 当使用volatile、volatile-random、volatile-ttl这三种策略时，如果没有key可以被淘汰，则和noeviction一样返回错误。

关于MongoDB

• MongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统，在大量数据下，承载性能好。
• 优点：
  • 相对于MySQL来说，不需要提前创建表，以及表结构；
  • 存储持久化，面向集合存储，易存储对象类型的数据；
  • 性能方面能够快速查询（支持动态查询，完全索引）；
  • json格式存储。
• 缺点：
  • MongoDB占用空间过大；
  • 关系能力较弱。

简要比较

• MongoDB更类似于MySQL，支持字段索引、游标操作，其优势在于查询功能比较强大，能存储海量数据，但是不支持事务；
• MySQL在大数据量时效率显著下降，MongoDB更多时候作为关系数据库的一种替代；
• Redis是内存中的数据结构存储系统，可以用作数据库、缓存和消息中间件，事务支持比较弱，只能保证事务中的每个操作连续执行。