![](https://img-blog.csdnimg.cn/98a27d910561457e88263daba0e0fb8b.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink
文章平均质量分 82
Flink 流数据处理框架从0到1
monkeydbo
傲不可长,欲不可纵,乐不可极,志不可满。
展开
-
Flink (一)分布式流处理引擎学习
Flink 是什么,有什么,特点优势原创 2021-10-22 16:23:47 · 317 阅读 · 0 评论 -
Flink (二)经典用例 WordCount 之实时流处理和批处理实验
word count测试程序批处理测试流处理测试原创 2021-10-23 11:36:08 · 531 阅读 · 0 评论 -
Flink (三)集群组件及 Job 提交模式图解
版本:Flink 1.13.2 - 2021-08-02Flink 集群组件集群组件图组件介绍:Flink Client ( Flink 客户端 )用途:将批处理或者流处理应用编译成一个 Data Flow Graph(数据流程图)或者说是 JobGraph(作业流程图),并将它提交到 JobManager实现方式:Command Line Interface 利用命令行REST Endpoint 利用http请求端点SQL Client 数据库语言客户端Python REPL 利原创 2021-10-27 01:51:46 · 599 阅读 · 0 评论 -
Flink(四)Standalone 模式部署 Flink 集群实践
版本:Flink 1.13.2 - 2021-08-02Standalone 独立模式的集群:Standalone 独立模式的 Flink 集群不支持 Per-Job Mode 作业模式。部署前期准备:四台虚拟机(一个 master,三个 worker,集群节点之间最好可以免密登录)192.168.116.10192.168.116.11192.168.116.12192.168.116.13jdk环境 :下载 flink 二进制包:flink-1.13.2-bin-scala_2原创 2021-10-30 00:40:20 · 955 阅读 · 0 评论 -
Flink(五)运行时调度过程图解
版本:Flink 1.13.2 - 2021-08-02Flink 运行时集群的基本结构及调度过程图解Flink 运行时集群的基本结构针对不同集群环境(YARN,Mesos,Kubernetes,standalone等),结构会有略微不同,但是基本结构中包含了运行时的调度原理。Flink Runtime 集群的基本结构,采用了标准 master-slave 的结构。中间 AM 中的部分表示 master,它负责管理整个集群中的资源和作业;而右侧的两个 TaskManager 则是 slave原创 2021-10-30 19:58:22 · 2599 阅读 · 0 评论 -
Flink(六)流处理 DataStream API 数据源及数据流转换算子示例
流处理基本流程Created with Raphaël 2.3.0Data SourceTransformsSinkUDF (User-Defined Functions)函数形式编程Flink 中 UDF 无处不在,所有接口几乎都实现了 Function 函数接口,支持 Lambda 表达式,匿名函数类,自定义函数类。大多数操作都需要用户定义的函数。在 Flink 中有四种指定用户自定义函数类的方式:Implementing an interface 实现 Flink 提供的函数类接口Ano原创 2021-11-07 20:17:18 · 1763 阅读 · 0 评论