airflow的安装和配置

1. 安装
   virtualenv airflow
   export AIRFLOW_HOME=~/airflow
   source airflow/bin/activate
   pip install airflow
   这个过程时间有点长，airflow安装了很多依赖包，数据库同步工具alembic, orm工具sqlalchemy, flask等
   2.初始化数据库
   airflow默认的数据库是sqlite,如果你想具体测试airflow的功能的话，你需要指定一个真实的数据库，mysql或者postgresql
   airflow initdb

3.启动服务
airflow webserver -p 8080
启动服务之后，你就可以访问127.0.0.1来访问airflow。这时整个网站是没有登录入口的，需要在配置文件里配置才可以看到用户登录界面
4.配置登录界面
airflow配置文件在主目录下，airflow.cfg
找到[webserver]这一项
authenticate = True
auth_backend = airflow.contrib.auth.backends.password_auth
把这两项改完之后，保存配置文件
$ cd ~/airflow
$ python
Python 2.7.9 (default, Feb 10 2015, 03:28:08)
Type “help”, “copyright”, “credits” or “license” for more information.

>>> import airflow
>>> from airflow import models, settings
>>> from airflow.contrib.auth.backends.password_auth import PasswordUser
>>> user = PasswordUser(models.User())
>>> user.username = 'new_user_name'
>>> user.email = 'new_user_email@example.com'
>>> user.password = 'set_the_password'
>>> session = settings.Session()
>>> session.add(user)
>>> session.commit()
>>> session.close()
>>> exit()

重启服务 airflow webserver -p 8080
5.设置一个后端
修改airflow.cfg：
executor = LocalExecutor
sql_alchemy_conn = mysql://username:password@localhost:3306/dbname
初始化数据库：
airflow initdb
6.测试airflow的scheduler
启动scheduler服务： airflow scheduler 如果定时任务还没有运行的话，重启一下服务 airflow webserver -p 8080
7.不加载airflow的自带的dags
load_examples = False