银行数仓项目实战（五）--搭建数仓和数据标准化

搭建数仓

数据采集

业务系统源 -》ODS贴源层，添加标签，添加系统来源，添加时间戳
问甲方要建表语句，自己添加etldt字段和来源字段，通过之前文章教的Kettle把数据抽到自己数据库中。

如图成功即可

标准层

要求对SAACNACN表进行数据标准化，要求如下

在oracle中新建一个用户命名为SDS，用来存放标准层数据。
新建转换，转换的表输入使用ODS层的数据，对数据进行加工处理，首先统一日期类型，日期类型有SA_PSBK_DL_DT字段和SA_PSWD_DL_DT字段，其中SA_PSBK_DL_DT字段表中是STRING类型，SA_PSWD_DL_DT字段表中是DATE类型，要求我们把字段类型改为varchar(8)，格式为yyyyMMdd，我们需要先把SA_PSBK_DL_DT字段转换为DATE类型，

再将这两个字段统一转换成String类型，长度设置为8

由于翻译码值时由于字符长短问题会报错，故而先把字段长度拓宽。
再对码值进行替换，参考国家发布的标准以及人民银行给的标准，翻译码值如下所示


对于源数据中的脏数据（以身份证长度不足为例），我们要进行清洗。首先计算身份证的长度，不足18位的视为脏数据将其保存到日志中，以待后续检查修改

将清洗后的数据插入到SDS层的表中，完成数据标准化。