- 在airflow的基础上进行二次开发,因此使用airflow的命令启动webserver和scheduler,使用airflow webserver -D 参数的时候,webserver作为守护进程,但是进程偶尔会死掉,原因未解决
- 代码的try except 一定要处理好,其中有一个定时任务是请求第三方的api,平是都有数据,所以没有对空数据进行处理,有一天第三方的接口返回空数据,我们自己却没有发现
- 代码的容错性要好,请求外部接口的时候,一定要retry,第一次可能由于网络原因或者其他的原因未取到数据
- 开发时一定要使用数据库版本管理工具,不然后期添加新功能要手动创建很多表,很麻烦;如果开始没有使用版本管理工具,后期在使用会出现很多问题
数仓监控系统日常踩坑记录
最新推荐文章于 2024-06-02 20:56:28 发布