qq_64557330的博客

/声明一个标志位@Override// 在指定的数据集中随机选取数据id=2"};));// 隔 1 秒生成一个点击事件，方便观测}}@Override}}//这种简单的自定义Source方法只可以指定并行度为1}//实现自定义的并行SourceFunction，这样可以指定更高的并行度(这里直接用静态类完成，不去重新新建一个类了)@Override}}@Override}}}93);}

在这一章，我们在之前部署运行的基础上，深入介绍了 Flink 的系统架构和不同组件，并 进一步针对不同的部署模式详细讲述了作业提交和任务处理的流程。此外，通过展开讲解架构 中的一些重要概念，解答了 Flink 任务调度的核心问题，并对分布式流处理架构的设计做了思 考分析。本章内容不仅是 Flink 架构知识的学习，更是分布式处理思想的入门。我们可以通过 Flink这样一个经典框架的学习，触摸到分布式架构的底层原理。

Flink 支持多种不同的部署模式，还可以和不同的资源管理平台方便地集成。本章从快速 启动的示例入手，接着介绍了 Flink 中几种部署模式的区别，并进一步针对不同的资源提供者 展开讲解了具体的部署操作。在这个过程中，我们不仅熟悉了 Flink 的使用方法，而且接触到 了很多内部运行原理的知识。关于 Flink 运行时组件概念的作用，以及作业提交运行的流程架构，我们会在下一章进一 步详细展开。

本章主要实现一个 Flink 开发的入门程序——词频统计 WordCount。通过批处理和流处理 两种不同模式的实现，可以对 Flink 的 API 风格和编程方式有所熟悉，并且更加深刻地理解批 处理和流处理的不同。另外，通过读取有界数据（文件）和无界数据（socket 文本流）进行流 处理的比较，我们也可以更加直观地体会到 Flink 流处理的方式和特点。这是我们 Flink 长征路上的第一步，是后续学习的基础。

Flink 是第三代分布式流处理器，它的功能丰富而强大。本章作为学习 Flink 的入门和综述，主要介绍了 Flink 的源起和应用，引出了流处理相关 的一些重要概念，并通过介绍数据处理架构发展演变的过程，为读者展示了 Flink 作为新一代 分布式流处理器的架构思想。最后我们还将 Flink 与时下同样火热的处理引擎 Spark 进行了对 比，详细阐述了 Flink 在流处理方面的优势。