自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

haofangasd的博客

原创 airflow分布式部署、参数配置、优劣势分析、工程经验

这是第一篇博客，内容很简单，主要是记录工作中遇到的关于airflow分布式方面的经验。意义在于学习博客的使用，让自己养成技术博客的习惯。目录优劣势分析分布式部署架构简析分布式参数调度、业务代码分离注意事项优劣势分析airflow是一个编排、调度和监控workflow的平台，是一个工作任务的调度平台，其内置了比较全面实用的调度功能。下表列出了实际场景下，使用airfl...

2018-10-14 12:55:13 11535 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

博客等级

码龄9年

1
原创

4
点赞

12
收藏

2
粉丝

关注

私信

热门文章

airflow分布式部署、参数配置、优劣势分析、工程经验 11535

最新评论

airflow分布式部署、参数配置、优劣势分析、工程经验
风轻扬92: 请教关于DAG 中各个 Operator 的依赖关系问题。 [code=python] default_args = { 'owner': 'python', 'depends_on_past': True, 'start_date': datetime(2019, 1, 17, 10, 45, 0), 'email': ['example@qq.com'], 'email_on_failure': True, 'email_on_retry': True, 'retries': 1, 'retry_delay': timedelta(minutes=5), } dag = DAG('sync_cashbill_new', default_args=default_args, schedule_interval=timedelta(minutes=15)) start = BashOperator( task_id='activate_virtualenv', bash_command='source /data/virtualenv/test-bi-transfer/bin/activate', dag=dag) go_lib = BashOperator( task_id='go_lib_directory', bash_command='cd /data/code/bi-transfer/lib', dag=dag) sync = BashOperator( task_id='sync_CashBill', bash_command='sudo python2.7 mysql_sync.py update -t v2.CashBill', dag=dag) start >> go_lib >> sync [/code] 以上是我定义的 DAG，现在有个问题是 sync 这一步不能执行成功，原因是这一步需要依赖前两步执行成功并且需要之前的结果，比如激活python虚拟环境以及切换到指定目录。我想请教一下如何可以在第三步使用前两步的结果，就是使用激活的虚拟环境以及进入指定目录？
airflow分布式部署、参数配置、优劣势分析、工程经验
文大侠666: 666

提示

确定要删除当前文章？

取消删除