Q1:怎么进行分布式部署?
airflow celery采用的是消息队列的方式生产任务,分发任务和执行任务,所以想要进行分布式部署,只需要在不同机器上部署完全一样的airflow服务,在borker节点上开启airflow的webserver,scheduler,flower服务以及mysql服务和rabbitMQ服务,在其他机器上设置和borker节点上相同的配置信息,并且只开启worker服务。Q2启用访问认证?
- 安装用户管理插件 user_management
插件地址 https://github.com/teamclairvoyant/airflow-user-management-plugin
使用插件添加用户名和邮箱以及密码 - 添加配置开启登陆认证
vim AIRFLOW_HOME/airflow.cfg
[webserver]
authenticate = True
auth_backend = airflow.contrib.auth.backends.password_auth
重新启动airflow服务,登陆即可 - 遇到
ValueError: too many values to unpack
的错误是因为sqlalchemy模块的问题
执行pip install -U'sqlalchemy==1.1.18'
即可解决
- 安装用户管理插件 user_management
怎么添加添加celery的其他配置?(明天补)
airflow分布式部署踩坑记录之其他篇<3>
最新推荐文章于 2024-08-09 04:13:21 发布