阿灰-工作一年工作总结-2021-07-02

数据中台-模型创建

1.参与数据中台建设，数据中台是为了解决原本数据仓库数据关联性低，数据挖掘成本高的问题，数据之间存在壁垒我们为了解决这个问题，所以搭建了数据中台，通过创建多维模型，将之前数仓的数据进行重组，按照事实与维度进行拆分就是多维模型的两部分，比如我负责制作的网络贷款部分模型（蚂蚁花呗，微粒贷，分期乐），数据来源于三方，为了后续数据挖掘使用，需要将这三部分数据放入数据中台，

我们做的了三种处理，1.数据从原系统抽取至数据中台（抽取）2.数据预处理（空值处理）3.数据标准化（码值转换，币种转换，标准化结果反馈）
做完这些处理以后，已经提高了数据的可用性，基于这些数据我开始建模，建模的依据是根据业务流线产生数据的顺序拆分的，拆分成6个部分创建多维模型，
一个模型包含事实和维度，考虑到申请，展期，催收，核销这部分数据量较小，拆分后数据过于分散，不利于数据分析，所以把维度信息和事实信息合并在一起，最后创建了8个模型
贷款->个人信息(申请)->合同->借据->展期->催收->核销
共建立8个多维模型
模型建立完成后，编写存储过程，后台批量调取，将数据导入模型，
贷款模型覆盖了报表关注的（地域，信用，担保方式，不良贷款变动，预测类，监管等方面）模型支持了92张贷款报表制作

模型运用-制作报表

2.使用中台创建的模型，借助帆软BI工具制作了28张报表，
包括了（借记卡，账户，贷款类）业务提供表样和取数口径，整理开发中相同加工口径的逻辑，制作公共数据集
借记卡，存款，贷款类报表开发，加工一些帆软BI常用控件的制作（日期空间–>日期维–>给定一个日期类型的字段，返回月末，季末一些特定时间点的日期，升值是第几天，避免了大量函数的调用导致资源占用）
（机构树–>总行->分行->支行）
（码值类，显示值-实际值转换）

模型优化-数据标准化

3.数据标准层制定，首先我们对于源数据进行探查（字段类型数字，字符串，日期，字段业务含义码值，数据量），
百万数量级为基准线做处理，百万级标准化需要占用大量的资源，我们针对探查出来需要的指定字段进行单独抽取，在临时表中做标准化后将这些字段插入原始表，
为了保证数据安全，我们也做了天为单位的备份，在验证标准化成功时，删除备份数据