airflow在Windows机器上部署十分不便利,甚至是部署不上,本文讲述如何在Windows10机器上部署。
Windows10提供了子系统的功能,我们需要在windows中添加一个ubantu 18.04的子系统。进入Microsoft Store中,搜索ubantu,出来如下结果:
我这里已经安装,没有安装的点击安装即可。再搜索Windows Terminal安装客户端工具:
安装完毕之后,通过windows terminal进入到ubantu子系统,然后可以开始搭建airflow环境:
可以新建已用户或者直接在root用户中搭建,首先是下载anconda:
wget -c https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
chmod 777 Miniconda3-latest-Linux-x86_64.sh
sh Miniconda3-latest-Linux-x86_64.sh
接着安装python3.6:
conda create -n py3 python=3.6
为了以后方便操作,可以给python3取个别名,方便以后调用:
vi .bashrc
alias py3='conda activate py3'
接着可以拉取下载airflow:
py3
pip install apache-airflow
不指定版本就默认下载最新版本。
然后可以将写好的airflow项目放入指定目录中,具体的airflow项目这里不作描述,这里再说一下修改airflow配置文件,让其连接到我们指定的数据库:
sql_alchemy_conn = xxx(数据库)://(用户):(密码)@127.0.0.1:5432/(库)
修改好之后,可以初始化数据库:
airflow initdb
然后在所指定的数据库里面会生成airflow需要使用到的表,具体安装就是这个流程,关于airflow的使用,会在之后的文章中更新。