【airflow】用简单的方式配置使用mysql，避免mysql连接错误

目录

问题背景

解决步骤

---

问题背景

• 我们正常安装airflow后，默认的顺序执行器SequentialExecutor是使用的sqlite作为数据库的，如果想使用localExcutor等执行器sqlite将不再支持，需要配置MYSQL；
• 在安装MYSQL后进行数据库连接时，存在SQL版本等原因引起的配置冲突问题；
• 查阅了很多博文，多数都是yum安装，公司的服务器由于网络代理问题配置极浪费时间，所以尝试了docker容器的方法进行MYSQL配置，成功，过程简单很多。

解决步骤

• 安装docker

 apt install docker.io

• 拉取mysql镜像

docker pull mysql  # 默认拉取最新版本的镜像

• 创建容器（设置密码123456）

docker run -d --name mysql -v ~/mysql/data:/var/lib/mysql  -e MYSQL_ROOT_PASSWORD=123456 -p 3306:3306  mysql

• 执行容器

docker exec -it mysql bash

• 登录MYSQL，并进行airflow数据库的相关配置

#登录MYSQL
mysql -uroot -p123456
#创建个airflow的用户，airflow数据库
CREATE DATABASE IF NOT EXISTS airflow DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
# 创建名称为airflow的数据库
create user 'airflow'@'%' identified by 'password';
# 对airflow赋操作权限
grant all privileges on airflow.* to airflow@localhost identified by 'password';
grant all privileges on airflow.* to 'airflow'@'%' identified by 'password';
flush privileges;

• 进行airflow的相关配置

#以下默认已经安装airflow
#修改配置文件airflow.cfg
executor = LocalExecutor
sql_alchemy_conn = mysql://airflow:password@localhost:3306/airflow?charset=utf8
sql_engine_encoding = utf-8

• 重新初始化airflow，启动相关服务

#如果airflow服务已启动，先kill掉相关服务
ps -ef|egrep 'scheduler|airflow-webserver'|grep -v grep|awk '{print $2}'|xargs kill -9

# 相关初始化
airflow db init
airflow users create --username zhang --firstname zhang --lastname zhang --role Admin --email  airflow@example.com

#重启服务
airflow webserver -D
airflow scheduler -D
 

以上，完成Airflow的MYSQL数据库配置。

参考文献：airflow安装及配置mysql