频繁变化的数据如何有效的缓存?(redis,memcached)

机票航班信息是从第三方接口查询获得的(收费,且速度比较慢.),我们会将用户的查询结果缓存起来,降低成本,加快页面响应速度。
查询的条件有: 出发机场 目的地机场 准备预定的日期
返回结果有: 可预定的座位,价格,及其他信息XML
困惑的地方来了:
1.数据的过期时间多长合适? 长期的过期时间设置比较合理?

2.缓存的更新机制该怎么做?

1.数据的过期时间多长合适? 长期的过期时间设置比较合理?
题主描述的是频繁变化的数据,那就假设调用第三方接口的频率为1s/次,看起来貌似用不着缓存。但题注强调了这个接口很慢,猜想应该是在业务里同步调用这个接口来更新数据,并且写入缓存的。那解决方案如第一个答案一样,缓存数据不要设置过期时间,在线业务只从缓存读取数据,数据的同步交给离线脚本异步来做,这样就消除了第三方接口对在线业务的影响,可以很快的返回数据了。
2.缓存的更新机制该怎么做?
缓存的更新就是异步离线脚本,定时轮询API,获取新数据,存入缓存,只是这里需要记录需要更新数据的航班,毕竟不是所有航班都有人访问。
题主提到该接口收费,即希望尽可能少的调用,可以在业务端有人访问某个航班的时候做个记录,并且在数据同步脚本仅对有记录的且T时间内没有同步过数据的航班进行数据同步,T是航班同步间隔,自己根据业务来。

让第三方接口查询在后台操作,比如用crontab在后台定时取第三方接口数据,存储取到的数据到自己数据库或cache;如果要求实时性很高,crontable时间设置短一点。

作者:李波
链接:https://www.zhihu.com/question/22414215/answer/123868319
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Redis缓存是一种基于内存的高性能键值存储数据库。它常被用作缓存服务器,可以将常用的数据缓存在内存中,以提高应用程序的响应速度。 优点: 1. 快速读取:与传统的磁盘数据库相比,Redis缓存可以更快地读取数据。 2. 高并发:Redis缓存的单线程模型能够避免并发问题,同时支持高并发访问。 3. 数据结构丰富:Redis缓存支持多种数据结构,如字符串、哈希表、列表、集合、有序集合等,方便开发人员使用。 4. 分布式:Redis缓存可以实现分布式缓存,提高了系统的扩展性和容错性。 缺点: 1. 内存限制:Redis缓存存储的数据量受限于服务器的内存大小。 2. 数据一致性:Redis缓存中的数据可能会因为故障等原因丢失,需要进行备份和恢复操作。 3. 高并发写入:当Redis缓存中的数据需要频繁更新时,可能会导致性能下降。 Redis缓存支持多种数据结构,如字符串、哈希表、列表、集合、有序集合等。其中,字符串适用于缓存简单的值或对象,哈希表适用于缓存复杂的对象,列表适用于缓存队列等数据结构,集合适用于缓存无序的元素集合,有序集合适用于缓存有序的元素集合。 Redis缓存的分布式实现可以通过一致性哈希算法等方式来实现。一致性哈希算法可以使得数据在多个节点之间均匀分布,提高系统的性能和可靠性。 为了保证Redis缓存的可靠性和数据一致性,可以使用持久化方式来将数据写入到磁盘中,以防止数据丢失。同时,可以设置主从复制,将数据复制到多个节点,提高系统的可靠性。 Redis缓存的过期策略有两种:定时过期和惰性过期。定时过期是指设置一个过期时间,在这个时间之后数据会被自动删除;惰性过期是指在访问数据时检查它是否过期,如果过期则进行删除。可以通过设置过期时间和过期策略来控制Redis缓存数据有效性。 Redis缓存的持久化方式有两种:RDB和AOF。RDB将内存中的数据周期性地写入到磁盘中,适用于需要快速备份和恢复数据的场景;AOF则将Redis缓存的写操作记录到文件中,适用于需要保证数据一致性和可靠性的场景。 为了优化Redis缓存的性能,可以采用以下方法: 1. 合理使用数据结构,选择适合的数据类型和算法。 2. 设置合理的过期时间和过期策略,避免数据的过期和无效。 3. 使用分布式缓存,将数据分散在多个节点中,提高系统的性能和可靠性。 4. 使用连接池和异步IO等技术,避免因连接和IO造成的性能瓶颈。 为了保证Redis缓存数据库的一致性,可以使用缓存更新策略。当数据库中的数据发生变化时,可以通过订阅数据库更新事件的方式,将更新的数据同步到Redis缓存中,以保证数据的一致性。 为了实现Redis缓存的高可用性,可以使用主从复制和哨兵模式。主从复制可以将数据复制到多个节点,提高系统的容错性;哨兵模式则可以监控Redis缓存的状态,当主节点出现故障时,自动选择新的主节点,保证系统的高可用性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值