![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
airflow
文章平均质量分 64
码农李某
同样的话从你和厉害的人嘴里说出来效果就是不一样,这显然不是取决于对错,而是取决于说话的那个人是谁!
展开
-
airflow分布式部署踩坑记录之安装篇<1>
前言airflow是一款基于python的开源任务流调度系统,但是关于airflow的安装教程比较匮乏。本人在亲自安装的过程中遇到了很多奇葩的问题,期间也参考了网上的各种资料,在此做下记录,以备不时之需。系统环境操作系统 Centos6.5python 2.7.12如果你拿到的是一台新安装了Centos6.5系统的机器,那么你可能要多做一些准备工作:1.检查你的机...原创 2018-07-20 14:48:54 · 4287 阅读 · 1 评论 -
airflow分布式部署踩坑记录之配置篇<2>
配置mysql作为元数据库安装mysql>: yum list | grep mysql>: yum install -y mysql-server mysql启动MySQL服务 >:service mysqld start重启MySQL服务 >:service mysqld restart停止MySQL服务 >:service mysqld sto...原创 2018-07-20 18:07:48 · 5314 阅读 · 9 评论 -
airflow分布式部署踩坑记录之其他篇<3>
Q1:怎么进行分布式部署? airflow celery采用的是消息队列的方式生产任务,分发任务和执行任务,所以想要进行分布式部署,只需要在不同机器上部署完全一样的airflow服务,在borker节点上开启airflow的webserver,scheduler,flower服务以及mysql服务和rabbitMQ服务,在其他机器上设置和borker节点上相同的配置信息,并且只开启worke...原创 2018-07-20 19:17:26 · 3164 阅读 · 0 评论