高并发下缓存与数据库双写不一致解决方案

1、最初级的缓存不一致问题以及解决方案
问题:先修改数据库,再删除缓存,如果删除缓存失败了,那么会导致数据库中是新数据,缓存中是旧数据,数据出现不一致。
解决思路:
  先删除缓存,再修改数据库,如果删除缓存成功了修改数据库失败了,那么数据库中是旧数据,缓存中是空的,那么数据不会不一致,因为读的时候缓存没有,则读数据库中旧数据,然后更新到缓存中。 

并发下数据缓存不一致问题分析
问题:
  第一个请求数据发生变更,先删除了缓存,然后要去修改数据库,此时还没来得及去修改;
  第二个请求过来去读缓存,发现缓存空了,去查询数据库,查到了修改前的旧数据,放到了缓存中;
  第三个请求读取缓存中的数据 (此时第一个请求已经完成了数据库修改的操作)。
  完了,数据库和缓存中的数据不一样了。。。。

问题分析:
  只有在对同一条数据并发读写的时候,才可能会出现这种问题。其实如果说你的并发量很低的话,特别是读并发很低,每天访问量就1万次,那么很少的情况下,会出现刚才描述的那种不一致的场景;但如果每天的是上亿的流量,每秒并发读是几万,每秒只要有数据更新的请求,就可能会出现上述的数据库+缓存不一致的情况。
解决思路
  数据库的缓存更新与读取操作进行串行化,一个队列对应一个工作线程,每个工作线程串行拿到对应的操作,然后一条一条的执行。
  1. 首先我们的项目里维护一组线程池和内存队列。
  2. 更新数据的时候,根据数据的唯一标识将请求路由到一个jvm队列中,去更新数据库,然后请求结束。
  3. 读取数据的时候,先查缓存,如果发现数据不在缓存中,那么将根据唯一标识路由之后,也发送同一个jvm内部的队列中,重新读取数据库后更新缓存,最后请求结束。

   

  这里有一个需要优化的点,比如一个队列中,连续存在多个更新缓存请求串在一起是没意义的,这样重复的查询数据库并更新缓存的操作应该优化:如果发现队列中已经有一个更新缓存的请求了,那么就不用再放个更新请求操作进去了,直接让后面的读请求阻塞个200ms左右(这里只是举个例子,实际值可以根据服务的响应时间和机器的处理能力来计算),然后再次查询缓存,如果缓存没有值就查数据库,拿到结果后不用更新缓存,直接返回给页面即可。

转载:高并发下缓存与数据库双写不一致解决方案 - 吴磊的 - 博客园 (cnblogs.com)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 感谢您的提问!以下是我推荐的几个高效且易用的读写数据库的库: 1. SQLAlchemy:这是一个 Python 的 ORM(Object Relational Mapping)库,提供了对多种关系型数据库的支持,包括 PostgreSQL、MySQL、SQLite、Oracle 等等。它能够实现数据库操作的抽象,使得编写和维护数据库相关的代码更加简单和方便。 2. PyMySQL:这是一个纯 Python 实现的 MySQL 客户端库,适用于 Python 2.x 和 3.x 版本,支持执行 SQL 语句、事务处理、数据类型转换等等。 3. Psycopg2:这是一个 PostgreSQL 的 Python 客户端库,提供了对 PostgreSQL 数据库的连接、查询、事务处理等等操作的支持。 4. MongoDB:这是一个文档型 NoSQL 数据库,提供了对数据存储和检索的支持,具有高可扩展性和高性能的特点。在 Python 中,pymongo 库是对 MongoDB 数据库进行操作的主要工具。 以上是我推荐的一些 Python 中常用的数据库操作库,具体使用时您可以根据自己的需要选择适合自己的库进行开发。 ### 回答2: 高并发读写数据库是指在同一时间内有大量同时连接数据库进行读写操作的情况。在面对高并发读写数据库时,可以考虑以下几点推荐: 1. 水平扩展:通过增加数据库服务器的数量来分担负载,可以使用数据库集群或分布式系统来实现。这样可以将请求分散到多台服务器上,提高读写效率和数据库的处理能力。 2. 缓存技术:可以使用缓存技术来减轻数据库的读写压力。通过将热门数据缓存在内存中,减少数据库的读取次数,提高读取速度。常用的缓存技术有Redis、Memcached等。 3. 数据库优化:优化数据库的结构和性能,包括合适的索引设计、适当的表分片等。通过合理地使用索引可以加快查询速度,表分片可以将数据分散存储在多个表中,避免单表过大造成的性能瓶颈。 4. 异步处理:对于一些不需要实时响应的操作,可以将其放入消息队列中异步处理,减少数据库的读写压力。例如,将用户的上传操作放入消息队列中,由后台异步处理,可以提高数据库的性能。 5. 数据库连接池:使用数据库连接池可以减少数据库连接的重复创建和销毁,提高连接的复用率。 6. 数据库读写分离:将数据库的读操作和写操作分离,使用不同的数据库服务器处理。这样可以将读操作负载均衡到多台服务器上,提高数据库的读性能。 综上所述,高并发读写数据库可以通过水平扩展、缓存技术、数据库优化、异步处理、数据库连接池和数据库读写分离等方式来进行优化。根据具体的业务场景和需求,可以选择合适的方案进行应用。 ### 回答3: 高并发读写数据库是指在短时间内有大量的并发请求涉及到数据库的读取和写入操作。为了解决这个问题,以下是一些推荐措施: 1. 数据库优化:对数据库进行适当的调优,包括合理的索引设计、表分区、查询优化等,以提高数据库的读写性能。 2. 缓存机制:可以使用缓存来减轻数据库的读写压力。将常用的数据缓存在内存中,减少数据库的访问次数,从而提高并发读取的性能。 3. 异步处理:将一些可以异步处理的任务放入消息队列或者后台线程中,减少主线程对数据库的压力。例如,将写入操作放入消息队列中由后台线程处理,避免阻塞主线程。 4. 数据分片:将数据进行分片存储,使得每个片段只有部分数据,可以减少数据库的访问冲突,提高并发读写的效率。 5. 垂直扩展和水平扩展:可以通过垂直扩展(增加硬件资源)和水平扩展(增加数据库节点)来提高数据库并发读写能力。 6. 使用缓冲区:可以使用缓冲区将一些写入操作临时存储起来,延迟向数据库写入,从而减少瞬时的写入压力。 7. 数据库连接池:合理使用数据库连接池,复用数据库连接,减少数据库连接的创建和销毁的开销。 8. 压测和性能监控:进行压力测试,对数据库进行性能监控,及时发现性能瓶颈,并作出相应的调整和优化。 总之,高并发读写数据库的关键是优化数据库的结构和使用合适的技术手段来分散并发请求,提高数据库的读写性能和吞吐量。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值