自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

haofangasd的博客

原创 airflow分布式部署、参数配置、优劣势分析、工程经验

这是第一篇博客，内容很简单，主要是记录工作中遇到的关于airflow分布式方面的经验。意义在于学习博客的使用，让自己养成技术博客的习惯。目录优劣势分析分布式部署架构简析分布式参数调度、业务代码分离注意事项优劣势分析 airflow是一个编排、调度和监控workflow的平台，是一个工作任务的调度平台，其内置了比较全面实用的调度功能。下表列出了实际场景下，使用airfl...

2018-10-14 12:55:13 11253 2

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

haofangasd CSDN认证博客专家 CSDN认证企业博客

码龄8年

IP 属地：北京市

IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）

1: 原创

62万+: 周排名

100万+: 总排名

1万+: 访问

: 等级

116: 积分

2: 粉丝

4: 获赞

2: 评论

12: 收藏

私信

关注

热门文章

airflow分布式部署、参数配置、优劣势分析、工程经验 11253

最新评论

airflow分布式部署、参数配置、优劣势分析、工程经验
风轻扬92: 请教关于DAG 中各个 Operator 的依赖关系问题。 [code=python] default_args = { 'owner': 'python', 'depends_on_past': True, 'start_date': datetime(2019, 1, 17, 10, 45, 0), 'email': ['example@qq.com'], 'email_on_failure': True, 'email_on_retry': True, 'retries': 1, 'retry_delay': timedelta(minutes=5), } dag = DAG('sync_cashbill_new', default_args=default_args, schedule_interval=timedelta(minutes=15)) start = BashOperator( task_id='activate_virtualenv', bash_command='source /data/virtualenv/test-bi-transfer/bin/activate', dag=dag) go_lib = BashOperator( task_id='go_lib_directory', bash_command='cd /data/code/bi-transfer/lib', dag=dag) sync = BashOperator( task_id='sync_CashBill', bash_command='sudo python2.7 mysql_sync.py update -t v2.CashBill', dag=dag) start >> go_lib >> sync [/code] 以上是我定义的 DAG，现在有个问题是 sync 这一步不能执行成功，原因是这一步需要依赖前两步执行成功并且需要之前的结果，比如激活python虚拟环境以及切换到指定目录。我想请教一下如何可以在第三步使用前两步的结果，就是使用激活的虚拟环境以及进入指定目录？
airflow分布式部署、参数配置、优劣势分析、工程经验
文大侠666: 666

最新文章

airflow分布式部署、参数配置、优劣势分析、工程经验

提示

确定要删除当前文章？

取消删除