python 操作redis

1、redis分单个redis和集群redis from airflow.contrib.hooks.redis_hook import RedisHook from rediscluster import StrictRedisCluster from sctetl.airflow.cont...

2018-09-03 14:44:27

阅读数:20

评论数:0

ftp服务器为我方,对方发送数据,巡检光衰数据导入es

""" ftp服务器为我方,对方发送数据,巡检光衰数据导入es ftp conn_id 在airflow webserver 中的Admin->Connections 按照ftp模板配置 001_巡检光衰数据 &q...

2018-05-25 15:48:38

阅读数:91

评论数:0

ftp服务器为我方,对方定时提供数据(客户基本信息及客户关联账户信息)导入es

""" 003_客户基本信息 004_客户关联业务账号信息 """ from airflow import DAG from airflow.operators.python_operato...

2018-05-19 16:11:49

阅读数:31

评论数:0

airflow测试用例一

from airflow.models import DAG from airflow.operators.bash_operator import BashOperator from datetime import datetime, timedelta #default_args = dic...

2018-04-24 10:52:05

阅读数:127

评论数:0

airflow重启出现Error: Already running on PID 8254 (or pid file '/root/airflow/airflow-webserver.pid' is

重启airflow出现以下错误。[root@localhost example]# airflow webserver -p 8080  &Error: Already running on PID 8254 (or pid file '/root/airflow/airf...

2018-04-18 10:24:55

阅读数:279

评论数:0

从oracle获取的数据写入mysql

from airflow.hooks import oracle_hookfrom airflow.hooks import mysql_hookfrom airflow import DAGfrom airflow.operators.python_operator import PythonO...

2018-03-30 21:18:16

阅读数:339

评论数:1

airflow cron定时详解

# Example of job definition:# .---------------- minute (0 - 59)# | .------------- hour (0 - 23)# | | .---------- day of month (1 - 31)# | | | .------...

2018-03-14 16:03:17

阅读数:930

评论数:0

airflow删除某个dag实例(在webserver中不再显示该dag)

以dags目录下的dag_id为test为例,程序名为test_tt.py1、使用airflow resetdb命令清除数据库2、删除dag文件3、关闭webserver:ps -ef|grep -Ei '(airflow-webserver)'| grep master | awk '{prin...

2018-03-10 11:32:49

阅读数:884

评论数:0

airflow使用指南一(安装及常用命令)

安装airflow1、将下载的Anaconda3-5.1.0-Linux-x86_64.sh添加可执行权限chmod +x Anaconda3-5.1.0-Linux-x86_64.sh2、安装Anaconda3./Anaconda3-5.1.0-Linux-x86_64.sh 然后,遇见选yes...

2018-03-10 09:29:18

阅读数:937

评论数:0

airflow 安装

转载:http://blog.csdn.net/Excaliburace/article/details/53818530airflow最简安装方法 centos 6.5python新司机, 所以使用anaconda安装python及其所需要的包, 不用担心缺包导致的各种各样的问题 1. anac...

2018-03-07 22:11:54

阅读数:76

评论数:0

Airdflow网址管理

1、Airflow 实战 http://ju.outofmemory.cn/entry/2453732、源码: https://github.com/airbnb/airflow3、官方文档: http://pythonhosted.org/airflow/

2018-03-07 17:16:49

阅读数:45

评论数:0

Airflow基础知识

转载:http://blog.csdn.net/u012965373/article/details/72878491安装跳过,我的另一篇有专门的安装笔记Airflow安装安装过后开始看代码:[python] view plain copydefault_args = {      'owner'...

2018-03-07 17:08:31

阅读数:428

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭