m0_37623076的博客

原创 GBase 8a consumer功能应用方案

场景： 某大数据云平台项目，需要从事务型数据库实施同步到GBase8a数据库，用来存储长时间序列历史数据用于各种数据分析场景。同时对分析场景有一定实时要求，要求数据延迟在分钟级以内。 分析： 对业务流程进行梳理发现需要实时从事务型数据库同步操作到8a数据库，而且存在大量的对历史数据的频繁地进行单条DML操作，其中更新操作为非全列更新，原有的数据延迟定期加载的方式不能满足现场要求，经评估采用kafka存储操作信息，8a通过consumer消费的方式消费进入8a数据库 。 利用kafka高吞吐量、低延迟