全量数据接入——设计方案

本文详细介绍了全量数据接入的设计方案,重点阐述了事件控制组件的功能,包括触发、删除、监听和响应事件的操作,并讨论了数据接入服务的切换索引流程及切索引上线步骤。此外,提出了问题汇总,强调了索引目录携带版本信息的重要性。
摘要由CSDN通过智能技术生成

全量数据接入的过程本质上是数据集群件复杂的事件同步与时间相应的过程,涉及到触发、反馈、反馈状态检查、分批等。因此,需要有一个事件控制组件作为基础。
一、事件控制组件
1.1 使用zk同步数据
zk路径规划:
${zk_base}/${event_group}/${date}/${event_name}/${event_version}.info
说明:${event_version}.info可用于传递信息,由脚本自行解析
1.2 行为定义
1、触发事件(trigger)
输入参数:event_group、event_name、date、event_version
输出参数:触发是否成功(true/false)
说明:触发事件
2、删除事件(fade)
输入参数:event_group、event_name、date、event_version
输出参数:删除是否成功(true/false)
说明:删除已发生事件
3、监听事件(listen)
输入参数:监听配置
输出参数:事件是否发生(true/false)
说明:
(1)监听事件是否被触发
(2)监听配置包含:内部事件/外部事件、事件监听脚本(仅外部事件)、{event_group、event_name、date、event_version}(仅内部事件)、timeout、脚本垂直触发/水平触发、正向触发/反向触发、关联响应事件行为、多个被监听事件的OR/AND逻辑等
(3)时间监听脚本输出参数应符合组件框架格式

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值