1.项目背景:
随着数据规模的越来越大,mysql已经不能适用大数据多维度的查询,需要用ES等一类的搜索引擎,进行多维度的分词查询,MYSQL现阶段使用按天分表存储,不能满足跨天的长时间查询。如何以最快的速度完成数据迁移,将数据库中的数据迁移到ES中,是需要评估的一个重要技术点
2.根本问题:
mysql适合做数据落地,在大量业务数据存储的情况下,like查询效率低,不适合多维度查询
3.使用imi作为数据迁移的微服务Server
首先使用imi作为微服务框架,集成了Eureka,普罗米修斯以及Apollo
对接EUREKA的文档地址:
https://github.com/Netflix/eureka/wiki/Eureka-REST-operations
Apollo对接文档
https://github.com/ctripcorp/apollo/wiki
4.关于数据迁移的架构设计
imi完成3个月93张表,上亿级别的数据迁移,在imi高性能框架的协助下,一天完成了数据迁移。
迁移方案:
总共8台机器进行大规模数据迁移,两台使用imi作为数据同步的主入口Server,6台机器作为客户端集群
6台客户机集群 每台机器客户程序开启15个进程
客户端6个节点的集群设计:
6 * 15 + 3
其中有一台机器18张表
整体架构流程图:
5.增量数据架构设计:
将业务数据的变更通过Java Dts 和 Hook 业务 的ORM 将增量数据同步发送到RocketMq,再由RocketMq消费进程池调用imi同步服务API,从而完成数据同步。
总体架构流程
6.imi的极速同步
在高IO密集的场景下,单次请求需要80毫秒,imi运用Swoole协程,不断在用户态和内核态之间进行切换,充分利用计算机CPU,从而能快速完成海量数据迁移。根据普罗米修斯的监控统计,在 两台 2C 4G的机器上,imi以每秒钟同步1000~1500条的同步速度,完成了上亿级别的数据迁移
最后感谢宇润大佬的辛勤付出,imi框架地址:
欢迎大家一起使用imi