airflow分布式部署踩坑记录之配置篇<2>

最新推荐文章于 2024-08-15 09:21:14 发布

码农李某

最新推荐文章于 2024-08-15 09:21:14 发布

阅读量5.4k

点赞数

分类专栏： airflow 文章标签： airflow 分布式部署

本文链接：https://blog.csdn.net/Lxd_0111/article/details/81136783

版权

本文详细记录了Airflow在分布式部署过程中如何配置MySQL作为元数据库，包括安装MySQL、修改默认存储引擎、源码调整以及初始化数据库。此外，还介绍了设置CeleryExecutor作为任务执行器的步骤，如安装erlang和rabbitMQ、配置RabbitMQ服务、添加用户及权限。通过这些配置，可以实现Airflow的高效运行。

摘要由CSDN通过智能技术生成

配置mysql作为元数据库

安装mysql

>: yum list | grep mysql
>: yum install -y mysql-server mysql
启动MySQL服务 >:service mysqld start
重启MySQL服务 >:service mysqld restart
停止MySQL服务 >:service mysqld stop
检查MySQL服务是不是开机自启 >:chkconfig --list | grep mysqld
设置MySQL服务开机自启 >:chkconfig mysqld on

设置mysql用户密码

设置MySQL根用户密码 （注：mysql root用户默认没有密码）
>:mysql -uroot 登陆mysql
>:set password=password("password of root user") 为root用户设置密码，不是必须操作
>:flush privileges
>:create database airflow 创建airflow数据库
>:grant all privileges on airflow.* TO 'odin'@'localhost' identified by 'odin_pw' with grant option
  （解释：odin 替换成你想要设置的用户名;odin_pw替换成该用户的密码）
>:grant all privileges on airflow.* TO 'odin'@'%' identified by 'odin_pw' with grant option
>:grant all privileges on airflow.* TO '