ETL日常工作事项

1、提数，又叫数据溯源，业务方提出字段需求和字段解释，需要寻找数据来源（有可能来源现有的业务系统，有可能需要提出需求改造，有可能需要额外获取捕捉）。
2、现金流追溯，根据各个会计科目梳理业务场景，明确现金流在各个表的流向，如何分摊、如何汇总。画ER图。
3、HANA数据库建模：分为ods层、DM层、DW层和APP层 四层结构。范式建模，写建表sql语句。
4、完善数据接口文档（从原系统接什么表、什么字段、什么是必须字段、什么是主键、什么是拉链字段，是全量获取还是增量获取）
5、编写ETL调度以及参与SAP Data Service ELT开发，JOB-WORKFLOW-DATAFLOW-QUERY-SCRIPT（如何命名、如何设置参数、如何处理报错、如何并行串行）。
6、ETL调度第一步判断文档传输就位，通过阅读指定文件夹下面的文件名时间戳.csv+finish.ok的控制文件，控制文件内包含batch所含表名、记录数、时间戳，金额等信息。
7、第二步是做数据质量校验：唯一性、准确性、关联性、及时性、一致性分别对主键、金额字段、关联后空值、系统时间与batch_time比较、count记录条数与finish.ok控制文件确认条数比较。
8、数据拉链：增删改数据集的数据拉链，如何开链、如何闭链，如何切片。
9、truncate 过度表并且写回feedback文件到原系统相关文件夹。
10、编写存储过程procedure，提取相应逻辑，加工出业务需要的表（入现金流量表、凭证制证表等）