本文详细介绍了Teradata数据仓库的ETL过程，包括数据提取、转换和加载，强调了空值处理、数据格式规范化、数据验证等关键步骤。此外，还探讨了元数据的重要性、报表开发流程、数据仓库的特征以及与数据库的区别。同时，文章讨论了Exadata的重要新特性Smart Scan，并分析了在Exadata环境下是否需要建立索引的问题。
ETL
Extract 通过接口提取源数据，例如JODBC、专用数据库接口和平面文件提取器，并参照元数据来决定数据的提取及其提取方式。
Transform 开发者将提取的数据，按照业务需要转换为目标数据结构，并实现汇总。
Load 加载经转换和汇总的数据到目标数据仓库中，可实现SQL或批量加载。
实现ETL，首先要实现ETL转换的过程。体现为以下几个方面：
1、空值处理：可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库。
2、规范化数据格式：可实现字段格式约束定义，对于数据源中时间、数值、字符等数据，可自定义加载格式。
3、拆分数据：依据业务需求对字段可进行分解。例，主叫号 861082585313-8148，可进行区域码和电话号码分解。
4、验证数据正确性：可利用Lookup及拆分功能进行数据验证。例如，主叫号861082585313-8148，进行区域码和电话号码分解后，可利用Lookup返回主叫网关或交换机记载的主叫地区，进行数据验证。
5、数据替换：对于因业务因素，可实现无效数据、缺失数据的替换。
6、Lookup：查获丢失数据 Lookup实现子查询，并返回用其他手段获取的缺失字段，保证字段完整性。
7、建立ETL过程的主
最低0.47元/天 解锁文章
扫一扫
182
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
