数仓监控系统日常踩坑记录

1. 在airflow的基础上进行二次开发，因此使用airflow的命令启动webserver和scheduler，使用airflow webserver -D 参数的时候，webserver作为守护进程，但是进程偶尔会死掉，原因未解决
2. 代码的try except 一定要处理好，其中有一个定时任务是请求第三方的api，平是都有数据，所以没有对空数据进行处理，有一天第三方的接口返回空数据，我们自己却没有发现
3. 代码的容错性要好，请求外部接口的时候，一定要retry，第一次可能由于网络原因或者其他的原因未取到数据
4. 开发时一定要使用数据库版本管理工具，不然后期添加新功能要手动创建很多表，很麻烦；如果开始没有使用版本管理工具，后期在使用会出现很多问题