flink入门_Flink技术详解，Flink框架从入门到精通

【Flink简介】

概述

如今的大数据技术应用场景，对实时性的要求已经越来越高。作为新一代大数据流处理框架，由于非常好的实时性，Flink独树一帜，在近些年引起了业内极大的兴趣和关注。Flink能够提供毫秒级别的延迟，同时保证了数据处理的低延迟、高吞吐和结果的正确性，还提供了丰富的时间类型和窗口计算、Exactly-once 语义支持，另外还可以进行状态管理，并提供了CEP（复杂事件处理）的支持。Flink在实时分析领域的优势，使得越来越多的公司开始将实时项目向Flink迁移，其社区也在快速发展壮大。
目前，Flink已经成为各大公司实时领域的发力重点，特别是国内以阿里为代表的一众大厂，都在全力投入，不少公司为Flink社区贡献了大量源码。如今Flink已被很多人认为是大数据实时处理的方向和未来，很多公司也都在招聘和储备了解掌握Flink的人才。

数据流的运行流程

Flink程序在执行后被映射到流数据流，每个Flink数据流以一个或多个源（数据输入，例如消息队列或文件系统）开始，并以一个或多个接收器（数据输出，如消息队列、文件系统或数据库等）结束。Flink可以对流执行任意数量的变换，这些流可以被编排为有向无环数据流图，允许应用程序分支和合并数据流。

Flink的数据源和接收器

Flink提供现成的源和接收连接器，包括Apache Kafka、Amazon Kinesis、HDFS和Apache Cassandra等。

Flink程序可以作为集群内的分布式系统运行，也可以以独立模式或在YARN、Mesos、基于Docker的环境和其他资源管理框架下进行部署。

Flink的状态：检查点、保存点和容错机制

Flink检查点和容错：检查点是应用程序状态和源流中位置的自动异步快照。在发生故障的情况下，启用了检查点的Flink程序将在恢复时从上一个完成的检查点恢复处理，确保Flink在应用程序中保持一次性（exactly-once）状态语义。检查点机制暴露应用程序代码的接口，以便将外部系统包括在检查点机制中（如打开和提交数据库系统的事务）。

Flink保存点的机制是一种手动触发的检查点。用户可以生成保存点，停止正在运行的Flink程序，然后从流中的相同应用程序状态和位置恢复程序。 保存点可以在不丢失应用程序状态的情况下对Flink程序或Flink群集进行更新。

Flink的数据流API

Flink的数据流API支持有界或无界数据流上的转换（如过滤器、聚合和窗口函数），包含了20多种不同类型的转换，可以在Java和Scala中使用。

有状态流处理程序的一个简单Scala示例是从连续输入流发出字数并在5秒窗口中对数据进行分组的应用。

Apache Beam - Flink Runner

Apache Beam“提供了一种高级统一编程模型，允许（开发人员）实现可在在任何执行引擎上运行批处理和流数据处理作业”。Apache Flink-on-Beam运行器是功能最丰富的、由Beam社区维护的能力矩阵。

data Artisans与Apache Flink社区一起，与Beam社区密切合作，开发了一个强大的Flink runner。

数据集API

Flink的数据集API支持对有界数据集进行转换（如过滤、映射、连接和分组），包含了20多种不同类型的转换。 该API可用于Java、Scala和实验性的Python API。Flink的数据集API在概念上与数据流API类似。

表API和SQL

Flink的表API是一种类似SQL的表达式语言，用于关系流和批处理，可以嵌入Flink的Java和Scala数据集和数据流API中。表API和SQL接口在关系表抽象上运行，可以从外部数据源或现有数据流和数据集创建表。表API支持关系运算符，如表上的选择、聚合和连接等。

也可以使用常规SQL查询表。表API提供了和SQL相同的功能，可以在同一程序中混合使用。将表转换回数据集或数据流时，由关系运算符和SQL查询定义的逻辑计划将使用Apache Calcite进行优化，并转换为数据集或数据流程序。

【系统学习并掌握Flink】

尚硅谷Flink教程

尚硅谷Flink教程(课堂实录flink大数据框架从入门到精通)_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili​www.bilibili.com

课程详情：
本教程将Flink理论与电商数据分析项目实战并重，对Flink基础理论知识做了系统的梳理和阐述，并通过电商用户行为分析的具体项目用多个指标进行了实战演练。为有志于增加大数据项目经验、扩展流式处理框架知识的工程师提供了学习方式。

一、教程内容和目标
本教程主要分为两部分：
第一部分，主要是Flink基础理论的讲解，涉及到各种重要概念、原理和API的用法，并且会有大量的示例代码实现；
第二部分，以电商作为业务应用场景，以Flink作为分析框架，介绍一个电商用户行为分析项目的开发实战。
通过理论和实际的紧密结合，可以使学员对Flink有充分的认识和理解，在项目实战中对Flink和流式处理应用的场景、以及电商分析业务领域有更深刻的认识；并且通过对流处理原理的学习和与批处理架构的对比，可以对大数据处理架构有更全面的了解，为日后成长为架构师打下基础。

二、谁适合学
1、有一定的 Java、Scala 基础，希望了解新的大数据方向的编程人员
2、有 Java、Scala 开发经验，了解大数据相关知识，希望增加项目经验的开发人员
3、有较好的大数据基础，希望掌握Flink及流式处理框架的求职人员

【资料下载地址】

看第一集，3分钟找到路径

尚硅谷_Java零基础教程-java入门必备-初学者从入门到精通全套完整版(宋红康主讲)_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili​www.bilibili.com