Airflow metastore清理

点赞发Nature
关注中Science

Airflow 运行中存在许多status record以table的形式保存的数据库中，需要定时清理：

用airflow command line tool可以进行清理：
airflow db clean --clean-before-timestamp <timestamp> -t <table_name> --dry-run -verborse -y

airflow metastore的table主要有

• log
• task_instance
• dag_run
• dag
• task_fail
• task_instance
• xom

timestamp的格式为yyyy-mm-dd

譬如：
airflow db clean -clean-before-timestamp 2023-01-01 -t log
————————
我目前奥尔堡大学做博士后(我的google scholar, 我的Github)，关注能源与环境数据科学。

专注于分享利用数据科学工具，欢迎一起交流、学习、合作。

关于我的博客内容、其他相关的研究问题，有问题可以下方👇评论、或私信我~