DBus 数据总线：实时数据流处理的利器
DBusDBus项目地址:https://gitcode.com/gh_mirrors/db/DBus
项目介绍
DBus（数据总线）是一个专注于数据的收集及实时数据流计算的开源项目。通过简单灵活的配置，DBus能够以无侵入的方式对源端数据进行采集，采用高可用的流式计算框架，对公司各个IT系统在业务流程中产生的数据进行汇聚，经过转换处理后成为统一JSON的数据格式（UMS），提供给不同数据使用方订阅和消费。DBus支持多种数据源，如Oracle、MySQL、日志等，目前开源版本主要支持MySQL数据源。
项目技术分析
DBus的技术架构主要分为两个部分：源端数据采集和多租户数据分发。这两个部分之间以Kafka为媒介进行衔接。DBus的核心技术包括：
- 日志抓取模块：从RDBMS的备库中读取增量日志，并实时同步到Kafka中。
- 增量转换模块：将增量数据实时转换为UMS数据，处理schema变更、脱敏等。
- 全量抽取程序：将全量数据从RDBMS备库拉取并转换为UMS数据。
- 日志算子处理模块：将来自不同抓取端的日志数据按照算子规则进行结构化处理。
- 心跳监控模块：对于RDBMS类源，定时向源端发送心跳数据，并在末端进行监控，发送预警通知。
- web管理模块：管理所有相关模块。
项目及技术应用场景
DBus的主要应用场景包括：
- 数仓平台和数据分析平台：作为数据源，提供实时数据流。
- 实时营销决策：利用实时数据流进行快速决策。
- 实时报表展示：提供实时数据支持报表的动态展示。
- 异构数据实时同步：实现不同系统间的数据实时同步。
- 其他实时性要求高的系统：满足各种对数据实时性要求高的业务需求。
项目特点
DBus的主要特点包括：
- 无侵入方式接入多种数据源：业务系统无需任何修改，以无侵入性读取数据库系统的日志获得增量数据实时变化。
- 海量数据实时传输：使用基于Storm的流式计算框架，秒级延时，整体无单点保证高可用性。
- 多租户支持：提供用户管理、资源分配、Topology管理、租户表管理等丰富的功能，实现多租户资源隔离、差异化数据安全。
- 感知源端schema变更：当源端发生schema变更时，能自动感知schema变化，调整UMS版本号，并通过Kafka消息和邮件通知下游。
- 数据实时脱敏：可根据需求对指定列数据进行实时脱敏，支持多种脱敏策略。
- 初始化加载：支持高效的初始化加载和重新加载，支持任意指定输出topic，灵活应对客户需求。
- 统一标准化消息传输协议：使用统一的UMS(JSON格式)消息schema格式输出便于消费，保证数据顺序性。
- 可靠多路消息订阅分发：使用Kafka存储和传递消息保证可靠性和便捷的多用户订阅。
- 支持分区表/系列表数据汇集：支持分区表的数据汇集到一个“逻辑表”，也可将用户自定义的系列表数据汇集到一个“逻辑表”。
- 实时监控&预警：可视化监控系统能随时查看各数据线实时流量和延时状况，当数据线发生异常时，根据配置策略自动发邮件或短信通知相关负责人。
DBus是一个功能强大且灵活的数据总线系统，适用于各种需要实时数据流处理的场景。无论是数据仓库、实时报表、还是实时营销决策，DBus都能提供稳定、高效的数据支持。欢迎广大开发者和技术爱好者加入DBus的社区，共同推动项目的发展和完善。
扫一扫
2184
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
