![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
airflow
sxf_0123
这个作者很懒,什么都没留下…
展开
-
Airflow基础知识
转载:http://blog.csdn.net/u012965373/article/details/72878491安装跳过,我的另一篇有专门的安装笔记Airflow安装安装过后开始看代码:[python] view plain copydefault_args = { 'owner': 'airflow', 'depends_on_past': False, 's...转载 2018-03-07 17:08:31 · 5322 阅读 · 0 评论 -
python 操作redis
1、redis分单个redis和集群redisfrom airflow.contrib.hooks.redis_hook import RedisHookfrom rediscluster import StrictRedisClusterfrom sctetl.airflow.contrib.hooks.es_hook import ElasticsearchHookfrom que...原创 2018-09-03 14:44:27 · 344 阅读 · 0 评论 -
ftp服务器为我方,对方发送数据,巡检光衰数据导入es
"""ftp服务器为我方,对方发送数据,巡检光衰数据导入esftp conn_id 在airflow webserver 中的Admin->Connections 按照ftp模板配置001_巡检光衰数据"""from airflow.models import DAGfrom airflow.operators.python_operator import PythonOpera...原创 2018-05-25 15:48:38 · 359 阅读 · 0 评论 -
ftp服务器为我方,对方定时提供数据(客户基本信息及客户关联账户信息)导入es
"""003_客户基本信息004_客户关联业务账号信息"""from airflow import DAGfrom airflow.operators.python_operator import PythonOperatorfrom datetime import datetime, timedeltafrom elasticsearch import Elasticsearch...原创 2018-05-19 16:11:49 · 254 阅读 · 0 评论 -
airflow测试用例一
from airflow.models import DAGfrom airflow.operators.bash_operator import BashOperatorfrom datetime import datetime, timedelta#default_args = dict()default_args = { 'owner': 'airflow', 's...原创 2018-04-24 10:52:05 · 1587 阅读 · 0 评论 -
airflow重启出现Error: Already running on PID 8254 (or pid file '/root/airflow/airflow-webserver.pid' is
重启airflow出现以下错误。[root@localhost example]# airflow webserver -p 8080 &Error: Already running on PID 8254 (or pid file '/root/airflow/airflow-webserver.pid' is stale)解决办法:找到该进行号的进程,找到进程号后第二列,再查找第二列...原创 2018-04-18 10:24:55 · 2987 阅读 · 0 评论 -
从oracle获取的数据写入mysql
from airflow.hooks import oracle_hookfrom airflow.hooks import mysql_hookfrom airflow import DAGfrom airflow.operators.python_operator import PythonOperatorfrom airflow.operators.dummy_operator import...原创 2018-03-30 21:18:16 · 1734 阅读 · 1 评论 -
airflow cron定时详解
# Example of job definition:# .---------------- minute (0 - 59)# | .------------- hour (0 - 23)# | | .---------- day of month (1 - 31)# | | | .------- month (1 - 12) OR jan,feb,mar,apr ...# | | | | .-...转载 2018-03-14 16:03:17 · 8117 阅读 · 0 评论 -
airflow删除某个dag实例(在webserver中不再显示该dag)
以dags目录下的dag_id为test为例,程序名为test_tt.py1、使用airflow resetdb命令清除数据库2、删除dag文件3、关闭webserver:ps -ef|grep -Ei '(airflow-webserver)'| grep master | awk '{print $2}'|xargs -i kill {}4、重启webserverairflow webserv...原创 2018-03-10 11:32:49 · 4680 阅读 · 0 评论 -
airflow使用指南一(安装及常用命令)
安装airflow1、将下载的Anaconda3-5.1.0-Linux-x86_64.sh添加可执行权限chmod +x Anaconda3-5.1.0-Linux-x86_64.sh2、安装Anaconda3./Anaconda3-5.1.0-Linux-x86_64.sh 然后,遇见选yes/no的选择yes3、在/root/.bashrc文件中添加路径export PATH=/root/a...原创 2018-03-10 09:29:18 · 4864 阅读 · 0 评论 -
airflow 安装
转载:http://blog.csdn.net/Excaliburace/article/details/53818530airflow最简安装方法 centos 6.5python新司机, 所以使用anaconda安装python及其所需要的包, 不用担心缺包导致的各种各样的问题 1. anaconda下载地址:https://www.continuum.io/downloads linux版的...转载 2018-03-07 22:11:54 · 336 阅读 · 0 评论 -
Airdflow网址管理
1、Airflow 实战 http://ju.outofmemory.cn/entry/2453732、源码: https://github.com/airbnb/airflow3、官方文档: http://pythonhosted.org/airflow/原创 2018-03-07 17:16:49 · 185 阅读 · 0 评论 -
airlfow 三种操作mysql 获取数据方式
#!/usr/bin/env python# -*- coding: utf-8 -*-"""airflow 操作mysql 数据库获取数据的三种方式"""from airflow.hooks.mysql_hook import MySqlHookfrom airflow.hooks.dbapi_hook import DbApiHookdef get_DaApi_data()...原创 2019-03-06 15:31:22 · 3149 阅读 · 0 评论