ETL架构中的38个子系统(三)

The 38 Subsystems of ETL

?

By Ralph Kimball, 20044

?

6.审计维度生成系统(Audit Dimension Assembler System

?

主要功能是将与事实表相关的元数据内容加载到一张审计维度表中,这样最终用户可以像查看普通维度一样查看与事实表相关的元数据。

?

7.数据质量过滤系统(Quality Screen Handler System

?

主要功能是在ETL的处理过程中自动的检测所有的数据质量问题。检测的结果将进入错误事件处理系统(详见子系统8)。

?

8.错误事件处理系统(Error Event Hander System

?

主要功能是全面的记录和报告在ETL处理中的所有的错误事件。包括各类错误的分枝处理逻辑,还包括对ETL处理中数据质量的实时监控。

?

9.代理键生成系统(Surrogate Key Create System

?

主要功能是以一种鲁棒的机制生成流水的代理键,生成规则不依赖与任何维度,也不依赖与任何数据库实例,可以支持分布式系统。

?

10.缓慢变化维处理系统(Slowly Changing Dimension ProcessorSCD

?

主要功能是处理维度表的属性随时间变化的情况,处理方式为:类型1(直接覆盖),类型2(生成新行),类型3(添加新列)。

?

原文请参阅这里<o:p></o:p>

?

Web数据分析系统架构图可以根据具体需求和技术选型的不同而有所差异。以下是一个常见的Web数据分析系统的典型架构图: 1. 用户界面层:用户通过浏览器或移动设备与系统进行交互,包括数据查询、报表展示、设置等功能。 2. 前端服务层:负责接收用户请求,处理用户输入,进行数据验证和格式化,并将请求转发给后端服务层。 3. 后端服务层:包括多个子模块,主要负责数据处理、存储和分析等核心功能。常见的子模块包括: - 数据采集模块:负责从各种数据源(如网站、移动应用、服务器日志等)采集原始数据,并进行预处理和清洗。 - 数据存储模块:用于存储采集到的原始数据和处理后的数据,常见的存储方式包括关系型数据库、NoSQL数据库、分布式文件系统等。 - 数据处理模块:对原始数据进行清洗、转换和计算,生成可供分析和展示的数据集。常见的处理方式包括ETL(抽取、转换、加载)流程、MapReduce等。 - 数据分析模块:基于处理后的数据进行各种分析,如用户行为分析、业务指标分析、趋势分析等。常见的分析方法包括统计分析、机器学习、数据挖掘等。 - 报表展示模块:将分析结果以可视化的形式展示给用户,如图表、报表、仪表盘等。 4. 数据仓库层:用于长期存储和管理历史数据,支持复杂的查询和分析需求。常见的数据仓库技术包括关系型数据库、列式数据库、大数据平台等。 5. 外部数据源:系统可能需要与外部数据源进行集成,如第方API、其他系统的数据接口等。 6. 安全与权限控制:保护系统的数据安全和用户隐私,限制用户对数据的访问权限。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值