本文探讨了如何使用Apache Ignite作为数据缓存层，以减轻Mysql业务库压力，提高数据处理效率。通过在Ignite中进行关联查询，实现了分钟级数据同步，性能提升4倍。文章还比较了优化前后架构，强调了Ignite的分布式查询、事务支持和SQL优化等优势，并指出当前版本存在的不足及其解决方案，以及未来规划。
前言：
Ignite是一个以内存为中心的数据平台，具有数据强一致、高可用、支持标准SQL的特性。Ignite从2015年加入apache以来备受关注，截至发文ignite已更新至2.7版本，本文推荐版本2.6以上(支持copy关键字)。此次应用Ignite的计算网格部分，代替Mysql关联查询，降低业务库压力，提升平台效率。
一、 应用场景
数据云及云计算数据缓存层
背景:业务数据库越来越大，全量抽取更新及关联查询维表对业务库Mysql造成巨大压力，较长sql关联查询耗时20分钟以上。
结论：重新改变原始的数据加工逻辑后，引入ignite框架完成分钟级数据同步。单任务提高效率，由每小时同步一次数据，提升至15分钟，性能提高4倍。并且关联计算由ignite完成，减少了业务端Mysql的压力。
二、 应用场景架构对比
image.png
在之前的架构中耗时较长的部分为：
Mysql关联查询，并对业务库Mysql造成较大压力，随着数据量的增加，较长关联查询已经到达20分钟以上。
文件读写，利用spark将csv转orc文件并写入hive表。
数据分发，由hive写入hdfs文件，通过BulkLoad加载到hbase，后续使用phoenix做业务关联查询。
优化后的ignite架构：
Mysql关联查询移到Ignite中。Ignite的内存关联查询部分优于M
最低0.47元/天 解锁文章
扫一扫
844
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
