How to install Airflow on Linus Ubuntu 20.04 (Aliyun ECS)

BigDataSmallTeam

已于 2022-03-07 21:24:44 修改

阅读量2.5k

点赞数

文章标签： ubuntu linux 运维数据库 database

于 2022-01-27 19:31:54 首次发布

本文链接：https://blog.csdn.net/bigdatasmallteam/article/details/122722658

版权

本文详细介绍了如何在运行Ubuntu 20.04的阿里云ECS实例上安装和配置Airflow。步骤包括检查pip3、使用pip3安装Airflow、初始化数据库、开启web服务器并设置端口，以及启动调度器。最后，提供了访问Airflow的URL。

摘要由CSDN通过智能技术生成

Install Airflow in Ubuntu 20.04 (Aliyun ECS）

Step 1: Check pip3 on Linux

root@SecondaryDataUse:~# pwd

/root

root@SecondaryDataUse:~# pip3 --version

pip 20.0.2 from /usr/lib/python3/dist-packages/pip (python 3.8)

Step 2: Install airflow using pip3

root@SecondaryDataUse:~# export AIRFLOW_HOME=~/airflow
root@SecondaryDataUse:~# pip3 install apache-airflow

Step 3: init airflow DB

root@SecondaryDataUse:~# airflow db init
DB: sqlite:root/airflow/airflow.db
[2022-01-11 10:02:47,931] {db.py:921} INFO - Creating tables
INFO  [alembic.runtime.migration] Context impl SQLiteImpl.
INFO  [alembic.runtime.migration] Will assume non-transactional DDL.
WARNI [airflow.models.crypto] empty cryptography key - values will not be stored encrypted.
WARNI [unusual_prefix_105d5a3ee2d83a45d12269415995c8d67312bae5_exam

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

BigDataSmallTeam

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Ubuntu上搭建airflow+celery以及配置环境

最熟悉的陌生人

04-16

2330

文章目录1、框架2、搭建过程2.1 基础工作-新建airflow用户和目录2.2 下载并安装anaconda：miniconda2.3 新建airflow的python环境2.4 初始化airflow2.5 修改配置文件2.6 初始化后端数据库2.7 为访问airflow web时添加用户3、启动服务 1、框架服务器环境介绍： Ubuntu 16.04.5 LTS 配置：8核 16G 框架介...

Ubuntu 安装 Apache Airflow

然光不学无術暗于大理

10-06

491

先更新系统和安装 pip3 sudo apt update sudo apt upgrade sudo apt install python-setuptools sudo apt install python3-pip 安装基本库 sudo apt install libmysqlclient-dev sudo apt install libssl-dev sudo apt install libkrb5-dev 更新本地 pip3 package 注: 要加 ~/.profile expo

参与评论您还未登录，请先登录后发表或查看评论

ubuntu中安装airflow

weixin_45820190的博客

03-07

807

教程亲测十分有效！！！地址虚拟机中安装Ubuntu教程小问题：ubuntu安装时出现界面不完整，无法正常安装时的一个解决方案好爱ubuntu，终于看见了这个界面大爱Ubuntu😍😭

【airflow】ubuntu系统上airflow的安装部署

Felier's Blog

07-27

671

ubuntu系统上airflow的安装部署

Ubuntu18 airflow安装及使用

qq_39498924的博客

07-30

1638

1.下载安装virtualbox(Oracle VM VirtualBox) 2.下载ubuntu16镜像https://releases.ubuntu.com/xenial/ 3.virtualbox新建一个虚拟环境（选择Linux64）完成后，选择设置-存储-没有盘片-分配光驱-选择下载的ubuntu-16.04.6-desktop-i386.iso 4.安装ubuntu16环境 5.安装pip3: wget https://bootstrap.pypa.io/pip/3.5/get-pip.py py

ubuntu 安装airflow 2x

weixin_42357472的博客

09-06

745

1、更新ubuntu sudo apt update 2、安装好python3，pip3 sudo apt install python3-pip pip3 install --upgrade pip 3、安装airflow export AIRFLOW_HOME=~/airflow pip3 install apache-airflow 上面安装时候有提醒没有添加到环境变量，安装提醒操作 echo 'export PATH=/home/loong/.local/bin:$PATH' >&gt

Apache Airflow Installation on Ubuntu

最新发布

11-17

mysql>grant all privileges on *.* to 'airflow'@'localhost'; mysql>flush privileges; mysql>quit ``` Step 7: 安装 Celery Executor 使用以下命令安装 Celery Executor： `sudo pip3 install "apache-airflow...

airflow-autoscaling-ecs:使用Cloudformation在AWS ECS Fargate上进行气流部署

05-04

气流自动缩放ECS 设置为在AWS ECS（弹性容器服务）Fargate中运行气流，并为所有服务启用了自动缩放。所有基础架构都是使用Cloudformation创建的，并且Secrets由AWS Secrets Manager管理。要求使用管理员权限为...

aws-ecs-airflow：使用Fargate任务在AWS ECS（弹性容器服务）中运行气流

01-29

设置为在AWS ECS容器中运行Airflow 要求本地码头工人 AWS 用于基础架构部署的AWS IAM用户，具有管理员权限，完整运行pip install awscli 在~/.aws/credentials内设置您的IAM用户~/.aws/credentials 在.zshrc...

ubuntu中airflow + CeleryExecutor 环境搭建

星宇_大佬养成时的博客

07-05

177

ubuntu中airflow + CeleryExecutor 环境搭建

Apache Airflow 安装

三丰的专栏

01-14

5974

安装环境： ubuntu 14.04 root：root用户 darren：普通用户（有sudo权限）安装：第一步：安装python sudo apt-get update sudo apt-get install python3 如果已经安装过python3，可以跳过此步。第二步：配置软连接 sudo ln -s /usr/bin/python3.4 /usr/bin...

Anaconda虚拟环境中安装airflow

weixin_38296425的博客

10-14

2813

1.设置Pip镜像源新建/home/.pip/pip.conf 内容： [global] index-url=https://pypi.tuna.tsinghua.edu.cn/simple [install] trusted-host=https://pypi.tuna.tsinghua.edu.cn 2.进入到python36环境这里的python36环境是在Anaconda------环境管理这个章节里创建的，是一个包含python36的虚拟环境 [roo...

airflow安装教程（local模式）

从大数据到人工智能的博客

12-04

3341

基本环境介绍 OS：centos 7.6 python：3.6.8 pip：21.2.4 具体安装 pip配置阿里云清华源 mkdir -p $HOME/.config/pip/ vim $HOME/.config/pip/pip.conf 新增如下内容： [global] index-url = https://pypi.tuna.tsinghua.edu.cn/simple 执行安装 export AIRFLOW_HOME=/data/airflow AIRFLOW_VERSION=2.2.2

airflow和MySQL_airflow快速安装——MySQL

weixin_35400275的博客

02-07

431

1) 进行pip的更新，否则很多安装会报错pip install --upgrade pippip install --upgrade setuptools2) 安装开发库yum install python3-develyum install libevent-develyum install mysql-devel3) 创建airflow的MySQL数据库schema及用户create dat...

centos安装airflow

ASN_forever的博客

06-06

672

首先需要安装python，pip，建议安装python3。我这里因为之前使用datax，安装的时python2，图省事就没有升级到python3. 之后直接pip installapache-airflow进行安装，结果报一堆下面的错 Requirement already satisfied: scandir; python_version < "3.5" in /home/kduser/.local/lib/python2.7/site-packages (from pathlib2; p.

Airflow2.2.3 + Celery + MYSQL 8构建一个健壮的分布式调度集群

Marionxue

01-05

2701

安装airflow——踩坑

草莓的橘子树的博客

07-26

3930

环境：centos6.5； mysql Ver 14.14 Distrib 5.1.73, 主要参考这个文档…… https://blog.csdn.net/kk185800961/article/details/78431484 1、遇到的大坑： [root@hadoopdn-04 ~]# /usr/local/python27/bin/airflow webserver -p 80...

Python基础之程序异常处理！

行到水穷处，坐看云起时！

08-08

516

异常即使一条语句或表达式在语法上是正确的，当试图执行它时也可能会引发错误。运行期检测到的错误称为异常，并且程序不会无条件的崩溃，后面会讲如何在Python程序中处理它们。然而，大多数异常都不会被程序处理，触发异常的例子如下所示： num = 0 print("num = ", num1) print("num = " + num) print("1 / 0 = ", 1 / num) 以上3条打印语句分别执行，会依次出现对应的错误提示。（1）命名错误（ NameError）（2）类型错误（ Ty

Ubuntu上安装Apache Airflow指南

GRANT ALL PRIVILEGES ON *.* TO 'airflow'@'localhost'; FLUSH PRIVILEGES; QUIT ``` 7. 安装Celery Executor：Apache Airflow支持多种Executor，如LocalExecutor和CeleryExecutor。如果需要分布式执行任务，...