大数据教程，Flink框架教程，flink从入门到精通

Apache Flink是由Apache软件基金开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行

在大数据的学习过程中，FIink框架也是必学的知识点。今天分享的课程，可以让你了解Flink，了解集群环境搭建运维，学习Flink中重要概念，通过知识点 + 案例教学法帮助小白快速掌握Flink。

大数据教程flink从入门到精通

课程内容：

1、Flink框架简介

2、Flink集群搭建运维

3、Flink Dataset开发

4、Flink 广播变量，分布式缓存，累加器

5、Flink Datastream开发

6、Flink Window操作

7、Flink watermark与侧道输出

8、Flink状态计算

9、Flink容错checkpoint与一致性语义 

10、Flink进阶 异步IO，背压，内存管理

11、Flink Table API与SQL

课程目录介绍

第一章 Flink简介

01.Flink的引入

02.什么是Flink

03.Flink流处理特性

04.Flink基石

05.批处理与流处理

第二章 Flink架构体系

01.Flink中重要角色

02.无界数据流与有界数据流

03.Flink数据流编程模型 

04.Libraries支持

第三章 Flink集群搭建

01.环境准备工作

02.local模式

03.Standalone集群模式

04.Standalone-HA集群模式

05.Flink On Yarn模式-介绍

06.Flink On Yarn模式-准备工作

07.Flink On Yarn模式-提交方式-Session会话模式

08.Flink On Yarn模式-提交方式-Job分离模式 

09. Flink运行架构-Flink程序结构   

10. Flink运行架构-Flink并行数据流

11. Flink运行架构-Task和Operator chain

12. Flink运行架构-任务调度与执行

13. Flink运行架构-任务槽与槽共享

第四章 Dataset开发

01.入门案例

02.入门案例-构建工程、log4j.properties

03.入门案例-代码运行yarn模式运行

04.DataSource-基于集合

05.DataSource-基于文件

06.Transformation开发

07.Datasink-基于集合

08.Datasink-基于文件

09.执行模式-本地执行

10.执行模式-集群执行

11.广播变量

12.累加器

13.分布式缓存

14.扩展并行度的设置

第五章 DataStream开发

01.入门案例-流处理流程

02.入门案例-示例、参考代码

03.流处理常见Datasource

04.Datasource基于集合

05.Datasource基于文件

06.Datasource基于网络套接字

07.Datasource-自定义source-SourceFunction

08.Datasource-自定义source-ParallelSourceFunction

09.Datasource-自定义source-RichParallelSourceFunction

10.Datasource-自定义source-MysqlSource

11.Datasource-自定义source-KafkaSource

12.DataStream-transformations

13.DataSink-输出数据到本地文件

14.DataSink-输出数据到本地集合

15.DataSink-输出数据到HDFS

16.DataSink-输出数据到mysql,kafka,Redis

第六章 Flink中Window

01.为什么需要window

02.什么是window

03.Flink支持的窗口划分方式

04.Time-window之tumbling-time-window

05.Time-window之sliding-time-window

06.Time-window之session-window

07.Count-window之tumbling-count-window

08.Count-window之sliding-count-window

09.window-Apply函数

第七章 Eventime-watermark

01.时间分类

02.watermark之数据延迟产生

03.watermark之解决数据延迟到达

04.watermark综合案例

05.watermark之数据丢失

06.watermark+侧道输出保证数据不丢失

第八章 Flink状态管理

01.状态管理概述之无状态计算

02.状态管理概述之有状态计算

03.状态管理概述之有状态计算场景

04.状态的类型之Managed State&Raw State

05.状态的类型之Keyed State&Operator State

06.API演示之ValueState

07.API演示之MapState

08.案例之OperatorState

09.案例之BroadcastState

第九章 Flink容错&重启策略

01.checkpoint是什么

02.checkpoint执行流程

03.checkpoint持久化存储

04.案例之checkpoint设置演示

05.Flink重启策略之重启策略配置

06.案例之重启策略演示

07.Savepoint与checkpoint区别

08.案例之savepoint演示

09.端到端一致性语义解释

10.案例之kafka实现EndToEnd一致性语义

11.案例之Mysql实现EndToEnd一致性语义

第十章 Flink扩展_异步IO_反压_内存管理

01.异步IO之使用前提

02.异步IO之核心API Async IO 

03.案例之异步IO案例

04.什么是反压问题

05.Flink如何解决反压问题

06.Flink内存管理

07.定制化内存管理

08.定制化序列化框架

09.使用堆外内存

第十一章 Flink-sql开发

01.Flink sql背景

02.sql常用算子之select

03.sql常用算子之where

04.sql常用算子之distinct

05.sql常用算子之group by

06.sql常用算子之union_union all

07.sql常用算子之join

08.sql常用算子之group window

09.案例之批处理sql案例

10.案例之流处理sql案例