AirFlow
airflow的运维操作
mason_roy
doveop 成员之一
展开
-
AirFlow 常见问题
文章目录AirFlow 常见问题安装问题1、安装出现ERROR “python setup.py xxx” 。问题:解决方法:2、ERROR: Cannot uninstall 'enum34' 。问题:解决方法:3、安装软件报错,提示软件包找不到问题:ERROR: Command errored out with exit status 1:解决方法:4、提示找不到Python.h 这个文件或...原创 2019-12-29 18:56:13 · 12760 阅读 · 0 评论 -
AirFlow 管理界面使用
文章目录AirFlow管理界面的使用AirFlow 的webserver UIDAGS作业操作框查看日志所有的任务实例记录了所有DAG的运行情况XComsFlower UI (待补充)AirFlow管理界面的使用AirFlow 的webserver UIDAGS左侧 On/Off 按钮控制 DAG 的运行状态,Off 为暂停状态,On 为运行状态。注意:所有 DAG 脚本初次部署完成...原创 2019-12-29 18:51:51 · 6389 阅读 · 1 评论 -
管理 AirFlow 方法
文章目录管理 AirFlow 方法进程管理工具Supervisord进程管理工具 systemd使用脚本管理airflow获取日志信息的改造删除DAG集群管理脚本集群服务上线脚本集群服务下线脚本修改ariflow 时区问题管理 AirFlow 方法进程管理工具Supervisord安装进程管理工具Supervisord管理airflow进程easy_install supervis...原创 2019-12-29 18:42:00 · 1014 阅读 · 4 评论 -
AirFlow 安装配置
文章目录airflow 安装配置airflow 相关软件安装python 3.6.5 安装pip3 安装MySQL 5.7.28 安装redis 安装RabbitMQ 安装airflow 单节点部署架构图步骤airflow 多节点(集群)部署架构图多节点好处扩展 worker 节点水平扩展垂直扩展扩展 Master 节点(高可用)队列服务及元数据库(Metestore)的高可用。airflow 集...原创 2019-12-27 09:34:20 · 1128 阅读 · 0 评论 -
AirFlow介绍
文章目录AirFlow介绍一、AirFlow是什么1、优劣势分析二、AirFlow中的作业和任务1、DAG2、Task三、AirFlow的调度时间1、start_date2、schedule_interval3、execution_date四、AirFlow的核心概念五、AirFlow 各组件介绍1、webserver2、scheduler3、celery worker4、flower六、AirF...原创 2019-12-27 09:17:29 · 2988 阅读 · 0 评论