![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
airflow
mnasd
这个作者很懒,什么都没留下…
展开
-
Airflow1.8 分布式工作流平台搭建
版本信息: python 2.7.15 airflow==1.8.0 SQLAlchemy==1.1.18 flower==0.9.2其中SQLAlchemy的版本如果是1.2.x版本会在创建用户是报错, [root@localhost ~]# python2 create_user.py [2018-07-18 18:51:09,336] ...转载 2018-11-18 22:28:49 · 1151 阅读 · 0 评论 -
浅谈调度工具——Airflow
本文将介绍 Airflow 这一款优秀的调度工具。主要包括 Airflow 的服务构成、Airflow 的 Web 界面、DAG 配置、常用配置以及 Airflow DAG Creation Manager Plugin 这一款 Airflow 插件。一、什么是 AirflowAirflow 是 Airbnb 开源的一个用 Python 编写的调度工具。于 2014 年启动,2015 年春...转载 2019-02-24 21:37:01 · 9104 阅读 · 1 评论 -
安装rabbitmq_ha
单机上安装分别在192.168.3.191 192.168.3.192 节点上安装rabbitmq serverInstall erlang yum install airflow_ha_install/rabbitmq/erlang-19.3.6.4-1.el7.x86_64.rpm Install RabbitMQ Server yum install airflow_...转载 2018-12-21 22:15:27 · 154 阅读 · 0 评论 -
airflow的安装
1.环境准备1.1 安装环境1.2 创建用户2.安装airflow2.1 安装python2.2 安装pip2.3 安装数据库2.4 安装airflow2.4.1 安装主模块2.4.2 安装数据库模块、密码模块2.5 配置airflown2.5.1 设置环境变量2.5.2 修改配置文件3. 启动airflow3.1 初始化数据库3.2 创建用户3.3 启动airflow4.执行任务5.安装cele...转载 2018-12-06 21:57:02 · 729 阅读 · 1 评论 -
airflow task 发送邮件
import airflowfrom airflow import DAGfrom airflow.contrib.operators.databricks_operator import DatabricksSubmitRunOperatorfrom airflow.operators.email_operator import EmailOperatorfrom airflow.o...原创 2018-11-27 14:29:17 · 5332 阅读 · 0 评论 -
AirFlow使用第一个DAG示例
1. 启动Web服务器使用如下命令启用:airflow webserver现在可以通过将浏览器导航到启动Airflow的主机上的8080端口来访问Airflow UI,例如:http://localhost:8080/admin/备注Airflow附带了许多示例DAG。 请注意,在你自己的`dags_folder`中至少有一个DAG定义文件之前,这些示例可能无法正常工作...转载 2018-11-17 17:24:33 · 3168 阅读 · 0 评论 -
Airflow 1.10安装
前言本次安装Airflow版本为1.10,其需要依赖Python和DB,本次选择的DB为Mysql。本次安装组件及版本如下:Airflow == 1.10Python == 3.6.5Mysql == 5.7Python安装略 详见:Python3安装(Linux环境)安装mysql略 详见:http://note.youdao.com/noteshare?i...转载 2018-11-17 17:08:10 · 3856 阅读 · 1 评论 -
airflow api
Airflow REST API PluginDescriptionA plugin for Apache Airflow that exposes REST endpoints for the Command Line Interfaces listed in the airflow documentation:http://airflow.incubator.apache.org/...转载 2018-11-27 10:22:27 · 1529 阅读 · 0 评论 -
airflow 修改中国时区(改airflow源码)
airflow默认使用utc时间,在中国时区需要用+8小时就是本地时间,下面把airflow全面修改为中国时区,带大家改airflow源码博主使用airflow版本是1.10.0,其它版本大同小异,参照修改即可1. 先讲使用 pip安装apache-airflow 的修改方式 在airflow家目录下修改airflow.cfg,设置 default_timezone = Asi...转载 2019-02-27 12:53:57 · 1344 阅读 · 0 评论