- 博客(1)
- 收藏
- 关注
原创 GBase 8a consumer功能应用方案
场景: 某大数据云平台项目,需要从事务型数据库实施同步到GBase8a数据库,用来存储长时间序列历史数据用于各种数据分析场景。同时对分析场景有一定实时要求,要求数据延迟在分钟级以内。 分析: 对业务流程进行梳理发现需要实时从事务型数据库同步操作到8a数据库,而且存在大量的对历史数据的频繁地进行单条DML操作,其中更新操作为非全列更新,原有的数据延迟定期加载的方式不能满足现场要求,经评估采用kafka存储操作信息,8a通过consumer消费的方式消费进入8a数据库 。 利用kafka高吞吐量、低延迟
2021-12-29 10:19:46 1212
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人