airflow报错mysql连接超时已断开问题解决

问题现象就是：

使用mysql作为airflow的后台数据库存储。我们已经在airflow.cfg配置文件中设置了sql_alchemy_pool_recycle=1800，但是没有起作用，在mysql那边默认8小时以后，没有请求来的连接会在服务端被断开，但是airflow的worker还是在使用就会导致报错：

MySQLdb._exceptions.OperationalError: (4031, 'The client was disconnected by the server because of inactivity. See wait_timeout and interactive_timeout for configuring this behavior.')

其实该配置是有用的，但是是对airflow自己写的代码里使用的sqlalchemy有用，对里面使用的celery组件无用，该配置不在这里，需要去airflow.cfg中配置celery_config_options选项，该值默认是

celery_config_options = airflow.config_templates.default_celery.DEFAULT_CELERY_CONFIG。

我们要做的就是去airflow的安装目录下，到目录airflow/config_templates/default_celery.py文件拷贝出来到dags目录下，然后增加配置database_engine_options到DEFAULT_CELERY_CONFIG里，如下：

然后修改配置celery_config_options = default_celery.DEFAULT_CELERY_CONFIG即可