在CentOS7中在线安装Airflow流程

1.安装Python3.9.5

1.1.打开终端，并使用root用户。

1.2.更新必要的软件包

sudo yum update

1.3.下载安装需要的软件包 

sudo yum install gcc zlib-devel openssl-devel sqlite-devel readline-devel

1.4.使用以下命令下载 Python 3.9.5 的压缩包：

Python官网镜像

wget https://www.python.org/ftp/python/3.9.5/Python-3.9.5.tgz

国内华为镜像，等待下载完成

wget https://mirrors.huaweicloud.com/python/3.9.5/Python-3.9.5.tgz

1.5.解压源代码：

tar xzf Python-3.9.5.tgz

1.6.进入源代码目录

cd Python-3.9.5

1.7.配置安装选项

./configure --enable-optimizations

1.8.编译和安装 Python

sudo make altinstall

`make altinstall` 与 `make install` 类似，但它会将 Python 安装到 `/usr/local/bin`，并使用版本号作为可执行文件名（例如 `python3.9`）。

1.9.验证安装

python3.9 --version

2.安装MySql5.7

2.1. 打开终端，并使用root用户或具有sudo权限的用户登录。

2.2. 更新系统软件包列表，可以使用以下命令：

sudo yum update

2.3. 安装MySQL 5.7的存储库，可以使用以下命令：

sudo rpm -Uvh https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm

2.4.在文件中添加 MySQL 5.7 的 Yum 软件源配置 

使用以下命令编辑 /etc/yum.repos.d/mysql57.repo 文件：

sudo vi /etc/yum.repos.d/mysql57.repo

​

[mysql57-community]
name=MySQL 5.7 Community Server
baseurl=http://repo.mysql.com/yum/mysql-5.7-community/el/7/$basearch/
enabled=1
gpgcheck=1
gpgkey=http://repo.mysql.com/RPM-GPG-KEY-mysql

2.5. 安装MySQL服务器：
 

sudo yum install mysql-server

提示此错误后

运行以下命令，导入 https://repo.mysql.com/RPM-GPG-KEY-mysql-2022 的 GPG 密钥。

rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

重新运行安装MySQL服务器命令。

2.6.启动服务器

systemctl start mysqld.service

2.7.查看运行状态

systemctl status mysqld.service

2.8. 获取默认密码

grep "password" /var/log/mysqld.log

2.9.进入数据库

mysql -uroot -p

2.10.修改默认密码

首先需要设置密码的验证强度等级，设置 validate_password_policy 的全局参数为 LOW ：

set global validate_password_policy=LOW;

当前密码长度为 8 ，可以设置为4位的密码：

set global validate_password_length=4;

现在可以为 mysql 设置简单密码：

ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';

重启 mysql 服务：

service mysqld restart

2.11. 运行以下命令以在系统启动时自动启动MySQL服务：

sudo systemctl enable mysqld

2.12.使用以下命令检查MySQL服务的状态：

sudo systemctl status mysqld

2.13重新进入数据库

mysql -uroot -p

2.14新建名字为<airflow>的数据库

CREATE DATABASE airflow;

将密码长度要求设置为6字符：

set global validate_password_policy=LOW;
set global validate_password_length=4;

# 新建用户`airflow`，密码为`123456`, 该用户对数据库`airflow`有完全操作权限

GRANT all privileges on airflow.* TO 'airflow'@'localhost' IDENTIFIED BY '123456';

重新加载权限

FLUSH PRIVILEGES;

2.15 将 MySQL 的全局变量 explicit_defaults_for_timestamp 设置为开启（1）

SET GLOBAL explicit_defaults_for_timestamp = 1;

3.安装airflow

3.1确保系统已经安装了 Python 3 和 pip

sudo yum update
sudo yum install python3 python3-pip

3.2执行以下命令，安装所需的 Apache Airflow 和 mysqlclient 的依赖项。

sudo yum install gcc python3-devel mysql-devel

3.3安装新的虚拟环境

python3 -m venv airflow_env

3.4激活一个新的 Python 虚拟环境

source airflow_env/bin/activate

3.5执行以下命令，在激活的虚拟环境中，使用 pip 安装 Apache Airflow 。

pip install apache-airflow

若失败，则多尝试几次，若是官网源太慢，可将pip源换成国内源：

使用pip来安装numpy软件包

pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple

使用sudo创建一个名为.pip的目录。

sudo mkdir ~/.pip

使用sudo和vim编辑器创建一个名为pip.conf的文件，并放在.pip目录中。通过编辑这个文件，你可以配置pip的全局设置。

sudo vim ~/.pip/pip.conf

在打开的vim编辑器中，你需要添加以下内容：

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host = https://pypi.tuna.tsinghua.edu.cn

再次运行安装命令

3.6运行以下命令，安装 MySQL 的 Python 连接器。

pip install apache-airflow[mysql]

3.7生成配置文件

airflow initdb

3.8编辑 Airflow 配置文件 airflow.cfg，执行以下命令，打开airflow.cfg文件

sudo vim ~/airflow/airflow.cfg

找到以下部分，并进行相应的更改：

executor = LocalExecutor
sql_alchemy_conn = mysql://root:123456@localhost:3306/airflow

保存并关闭 airflow.cfg 文件。

3.9初始化 Airflow 的数据库：

airflow db init

3.10使用以下命令创建一个用于登录airflow的admin用户：

airflow users create \
    --username admin \
    --firstname admin \
    --lastname admin \
    --role Admin \
    --email admin@example.com

3.10启动 Airflow Web 服务器和调度程序。

airflow webserver

打开浏览器，进入https://localhost:8080/home，根据创建的用户和密码登录

注意：每次进入先激活虚拟环境，在虚拟环境中开启airflow服务

source airflow_env/bin/activate

airflow webserver