ESDK迁移:
需求:总共需迁移7张报表,1封海外邮件的数据(暂不迁移)
规划:
1、针对各个报表,抽离出其维度和指标
2、对维度和指标进行抽象
3、得到各个指标取数逻辑
4、模型表结构设计(用户模型,收益及成本模型)
5、ETL开发
6、配置模型(BI展示)
7、自测数据
8、调度开发
9、调度上线
10、业务验收
难点:
1、报表展示层的sql都是几百行,查询性能也不高。维护成本特高,解读起来很困难
2、sql很冗余。同一个功能由于表关联来关联去,一处需要改动,处处改。
3、开发工具问题:git拉取项目时候自动delete文件,线上不能直接在应用中输入中文,写注释时超级难受,线下连接远程服务器kettle直接挂掉 很影响效率。
4、ETL时出现问题,sql不该查出来的数据但查出来了
设计效果:
1、报表都是单表出。可视化查询层sql极其简单易于维护。
2、数据流转分层,不在是之前那样同样的功能实现n次,极大程度上降低了耦合性
3、把原来多个报表整合成一个
总结: 通过本次迁移,终于自己真正意义上的实现了设计模型。但是还是有点不足,还只是只可意会不可言传的阶段,就说明还是掌握的不够。