Redis 数据库数据同步到 MySQL 有啥方案

最新推荐文章于 2023-04-03 16:26:36 发布

njit_peiyuan

最新推荐文章于 2023-04-03 16:26:36 发布

阅读量166

点赞数

文章标签：数据库 python lua

原文链接：https://my.oschina.net/airship/blog/608763

版权

2019独角兽企业重金招聘Python工程师标准>>>

redis做主数据库，数据分析和查询在mysql中，需要把数据从redis 同步到 mysql

有什么解决方案？ gem 或者思路？谢谢。需要考虑数据的一致性，其实自己写

应该是可以的，有没有现成的类库什么的？

共收到 8 条回复

ihlayy · #1 · 3 年前

来点思路也行额。。有做过的吗

luikore · #2 · 3 年前

建议直接在 redis 中做分析和查询, 或者在往redis存数据的所有地方都加一个往mysql存数据的方法... redis 和 mysql 数据的范式是完全不一样的, 转换就是一个大问题, 恐怕很难找到现成的类库, 找到也不一定符合要求.

redis 也有不少给查询和分析使用的方法, 还可以执行 server side lua: http://redis.io/commands/eval, 基本能解决缺少 average(), sum() 等函数的问题

ihlayy · #3 · 3 年前

#2楼 @luikore
谢谢啊，现在看了下，有几种思路，但是感觉都不是很优雅且有一定的复杂度，抛砖引玉
1）在所有redis 增，删，改数据的地方，处理完之后，放到队列，由MYSQL处理队列中的东西
缺点就是，代码估计很难看，而且这部分属于系统而外的东西。不爽

2） redis-dump,redis-rdb之类的工具导出数据并同步
https://github.com/nrk/redis-rdb
导出数据有两种模式
a. rdb 文件 ( redis 做的快照，这个文件看起来是会重新整理的，所以所sync的时候可能不方便，不便于判断哪些数据是删除了的，而且需要重新把所有数据检查一遍，这个恐怕不好）
b. aof 文件 ( 利用这种，可以有一个offset标记同步到哪儿了，如果失败了，或者下次sync的时候，从offset开始解析命令 )
问题在于，怎么对应redis的命令和 mysql 的db 结构，如果mysql 的db 结构和redis 不同的时候，
比如有中间表，也需要想办法处理

3) 直接读redis db ，在redis 对象中需要加上create_at ,update_at，需要额外的记录deleted的对象。 sync的时候记下updated_at,
下次sync找到udpated_at 之后的数据进行处理。