助力工业物联网，工业大数据之服务域：AirFlow的介绍【三十一】_airflow大数据(1)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上物联网嵌入式知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、电子书籍、讲解视频，并且后续会持续更新

如果你需要这些资料，可以戳这里获取

		* job3必须等待job1运行成功才能运行
		* job5必须等待job3和job4都运行成功才能运行
	- 调度类型
	
	
		* **定时调度**：基于某种时间的规律进行调度运行
			+ 调度工作流
		* **依赖调度**：基于某种依赖关系进行调度运行
			+ 工作流中的程序的依赖关系
+ **常用工具**


	- Oozie：Cloudera公司研发，功能强大，依赖于MR实现分布式，集成Hue开发使用非常方便
	
	
		* 传统开发：xml文件
		
		 
		```
		<workflow>
			<start to="action1">
			</start>
			<action name='action1'>
				<shell>
				</shell>
				<ok to='action2'>
				<kill to='killAction'>
			</action>
			<action name='action2'>
				<shell>
				</shell>
				<ok to='action3'>
				<kill to='killAction'>
			</action>
			……
		</workflow>
		
		```
		
			+ 现在开发：Hue通过图形化界面自主编辑DAG
			+ 场景：CDH大数据平台
		* Azkaban：LinkedIn公司研发，界面友好、插件支持丰富、自主分布式，可以使用properties或者JSON开发
		
		
			+ 开发properties文件，压缩成zip压缩包
			
			 
			```
			name='appname2'
			type=command
			dependencies=appname1
			comman='sh xxxx.sh'
			
			```
			+ 上传到web界面中
			+ 场景：Apache平台
		* AirFlow：Airbnb公司研发，自主分布式、Python语言开发和交互，应用场景更加丰富
		
		
			+ 开发Python文件
			
			 
			```
			# step1：导包
			# step2：函数调用
			
			```
			+ 提交运行
			+ 场景：整个数据平台全部基于Python开发
		* DolphinScheduler：易观公司研发，国产开源产品，高可靠高扩展、简单易用

• 小结

  • 回顾任务流调度的需求及常用工具

03：AirFlow的介绍

• 目标：了解AirFlow的功能特点及应用场景

• 路径

  • step1：背景
  • step2：设计
  • step3：功能
  • step4：特点
  • step5：应用

• 实施

+ **起源**
	- 2014年，Airbnb创造了一套工作流调度系统：Airflow，用来替他们完成业务中复杂的ETL处理。从清洗，到拼接，只用设置好一套Airflow的流程图。
	- 2016年开源到了Apache基金会。
	- 2019年成为了Apache基金会的顶级项目：http://airflow.apache.org/。
+ **设计**：利用Python的可移植性和通用性，快速的构建的任务流调度平台
+ **功能**：基于Python实现依赖调度、定时调度
+ **特点**
	- 分布式任务调度：允许一个工作流的Task在多台worker上同时执行
	- DAG任务依赖：以有向无环图的方式构建任务依赖关系
	- Task原子性：工作流上每个task都是原子可重试的，一个工作流某个环节的task失败可自动或手动进行重试
	- 自主定制性：可以基于代码构造任何你需要调度的任务或者处理工具
		* 优点：灵活性好
		* 缺点：开发复杂
+ **应用**
	- 基于Python开发背景下的系统建议使用

• 小结

  • 了解AirFlow的功能特点及应用场景

04：AirFlow的部署启动

• 目标：了解AirFlow的工具部署及管理

• 路径

  • step1：安装部署
  • step2：启动测试
  • step3：关闭

• 实施

  • 安装部署

    • 自行安装：《参考附录一》
    • 放弃安装：请将虚拟机快照恢复到《AirFlow安装完成》

  • 启动测试

    • 删除记录：第二次启动再做

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上物联网嵌入式知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、电子书籍、讲解视频，并且后续会持续更新

如果你需要这些资料，可以戳这里获取

式知识点，真正体系化！**

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、电子书籍、讲解视频，并且后续会持续更新

如果你需要这些资料，可以戳这里获取