airflow部署问题集锦

---

title: airflow部署问题集锦
date: 2022-10-21 22:58:30
tags: [airflow]
categories: 调度系统

问题集锦。

环境：
airflow: 2.4.1
macOS
python: 3.9

1. AttributeError: ‘NoneType’ object has no attribute ‘Redis’
   pip install redis

2. ModuleNotFoundError: No module named ‘MySQLdb’

yum install -y mysql-devel gcc gcc-devel gcc-c++ python-devel libffi-devel openssl-devel libsasl2-dev
pip3 install mysqlclient pymysql mysql -i  https://mirrors.aliyun.com/pypi/simple

3. Invalid default value for ‘updated_at’
   mysql添加参数 [mysqld]节点下添加

vim /etc/my.cnf 

[mysqld]
explicit_defaults_for_timestamp = ON

4. Failed to fetch log file from worker. [Errno -2] Name or service not known
   三台机器的ip/hostname映射都在/etc/hosts文件中加上

5. ERROR - Detected zombie job
   估计是scheduler和worker之间的代码不一致，导致scheduler认为这个dag不存在或者这个task不存在。
   目前我遇到的这个问题是这个原因，同步一致后，没有出现这个错误了。

6. webserver无法访问
   修改airflow.cfg
   [webserver]
   base_url改为对应的ip地址
   web_server_host改为对应的ip地址

好了，没事写写，记录一下曾经的工作。