airflow
奋斗的小蚁
求知若饥,虚心若愚
展开
-
airflow安装实操记录
1.1 基础安装1.1.1 默认自带python2环境,自行安装pipsudo yum -y install python-pip使用bigdata用户安装,需要加sudo,否则会出现Permission denied1.1.2 进行pip的更新,否则后续很多安装会报错 sudo pip install --upgrade pip sudo pip install --upgrade...原创 2019-06-29 11:25:42 · 400 阅读 · 0 评论 -
airflow分享
组成部分从一个使用者的角度来看,调度工作都有以下功能:系统配置($AIRFLOW_HOME/airflow.cfg)作业管理($AIRFLOW_HOME/dags/xxxx.py)运行监控(webserver)告警(邮件或短信)日志查看(webserver 或 $AIRFLOW_HOME/logs/)跑批耗时分析(webserver)后台调度服务(scheduler)除了短信需...原创 2019-06-29 11:30:47 · 2181 阅读 · 0 评论