一次偶然的机会需要了解airflow,然后就查了下,网上说了一大堆安装的步骤,什么装Python,以及Python的一些插件,但是一大佬说可以用docker安装airflow,然后就查了下,发现使用docker安装会简单很多,而且还没什么问题。最终参考了以下这篇博客,最终完成安装:
https://blog.csdn.net/clever101/article/details/94458903
大致步骤:
创建一个文件夹
拷贝GitHub上面的项目:git clone https://github.com/puckel/docker-airflow.git /root/airflow
安装并运行airflow:docker run -d -p 8082:8080 puckel/docker-airflow
进入容器:docker exec -it containerId bash 其中containerID,就是容器的id,可以使用docker ps来查看docker容器的id
初始化容器:airflow initdb
如果出现异常:irflow.exceptions.AirflowException: Could not create Fernet object: Incorrect padding
解决办法:
python -c "from cryptography.fernet import Fernet;print(Fernet.generate_key().decode())"
然后会显示一行字符串。
然后执行:export AIRFLOW__CORE__FERNET_KEY=string
注意,这里的前两个下划线都是两个"_",最后的key前面的那个是一个“_”,然后string就是上面显示的字符串。
然后再初始化数据库:airflow initdb就OK了。