全量数据接入的过程本质上是数据集群件复杂的事件同步与时间相应的过程,涉及到触发、反馈、反馈状态检查、分批等。因此,需要有一个事件控制组件作为基础。
一、事件控制组件
1.1 使用zk同步数据
zk路径规划:
${zk_base}/${event_group}/${date}/${event_name}/${event_version}.info
说明:${event_version}.info可用于传递信息,由脚本自行解析
1.2 行为定义
1、触发事件(trigger)
输入参数:event_group、event_name、date、event_version
输出参数:触发是否成功(true/false)
说明:触发事件
2、删除事件(fade)
输入参数:event_group、event_name、date、event_version
输出参数:删除是否成功(true/false)
说明:删除已发生事件
3、监听事件(listen)
输入参数:监听配置
输出参数:事件是否发生(true/false)
说明:
(1)监听事件是否被触发
(2)监听配置包含:内部事件/外部事件、事件监听脚本(仅外部事件)、{event_group、event_name、date、event_version}(仅内部事件)、timeout、脚本垂直触发/水平触发、正向触发/反向触发、关联响应事件行为、多个被监听事件的OR/AND逻辑等
(3)时间监听脚本输出参数应符合组件框架格式
全量数据接入——设计方案
最新推荐文章于 2024-07-30 09:45:00 发布
本文详细介绍了全量数据接入的设计方案,重点阐述了事件控制组件的功能,包括触发、删除、监听和响应事件的操作,并讨论了数据接入服务的切换索引流程及切索引上线步骤。此外,提出了问题汇总,强调了索引目录携带版本信息的重要性。
摘要由CSDN通过智能技术生成