2017年12月_python_tty

12月 10月 09月 06月 05月 04月 03月 02月 01月

原创 airflow源码分析之BashOperator

BashOperator主要的功能是执行shell命令或者shell脚本。负责具体的执行过程的是BashOperator.execute()函数。 airflow的bash_operator.py文件：from builtins import bytesimport osimport signalfrom subprocess import Popen, STDOUT, PIPEfrom

2017-12-16 16:21:57 4690

原创 python mixin

mixin有2个使用原则： 1. 如果你想给一个类附加很多可选的方法和属性 2. 有很多类使用同一个特定的方法和属性一个比较好的在类的方法里添加日志的mixinclass LoggingMixin(object): """ Convenience super-class to have a logger configured with the class name "

2017-12-16 13:37:48 1153

原创 airflow之DAGs详解

airflow是一个描述，执行，监控工作流的平台。airflow自带了一些dags,当你启动airflow之后，就可以在网页端看到这些dags,我们也可以自己定以dag。1.什么是DAGs DAG是一个有向无环图，它是一个task的集合，并且定义了这些task之间的执行顺序和依赖关系。比如，一个DAG包含A，B，C，D四个任务，A先执行，只有A运行成功后B才能执行，C只有在A，

2017-12-15 16:46:15 12791 4

原创源码安装airflow

1.创建虚环境 virtualenv airflow source ~/airflow/bin/activate export AIRFLOW_HOME = ~/airflow 2.下载源码 airflow: https://github.com/apache/incubator-airflow git clone git@github.com:apache/inc

2017-12-15 09:50:50 2525

原创 airflow的安装和配置

安装 virtualenv airflow export AIRFLOW_HOME=~/airflow source airflow/bin/activate pip install airflow 这个过程时间有点长，airflow安装了很多依赖包，数据库同步工具alembic, orm工具sqlalchemy, flask等 2.初始化数据库 airflow默认的数据库是sql

2017-12-14 10:22:46 3310

Superset权限整理

整理了开源项目superse他的权限，帮助大家理解superset的权限设计

2019-01-30

Python标准库

Python标准库包含数百个模块，可以用来与操作系统,解释器和Internet交互--所有这些模块都已经经过充分测试，可以在日常开发中使用