![](https://img-blog.csdnimg.cn/20210408203118611.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink
文章平均质量分 79
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。[2][3]Flink以数据并行和管道方式执行任意流数据程序[4],Flink的流水线运行时系统可以执行批处理和流处理程序。[5][6]此外,Flink的运行时本身也支持迭
风向决定发行D
在读硕士
展开
-
Apache Flink学习笔记(9)Flink中流处理中Window
窗口概念在大多数场景下,我们需要统计的数据流都是无界的,因此我们无法等待整个数据流终止后才进行统计。通常情况下,我们只需要对某个时间范围或者数量范围内的数据进行统计分析:如每隔五分钟统计一次过去一小时内所有商品的点击量;或者每发生1000次点击后,都去统计一下每个商品点击率的占比。在 Flink 中,我们使用窗口 (Window) 来实现这类功能。按照统计维度的不同,Flink 中的窗口可以分为 时间窗口 (Time Windows) 和 计数窗口 (Count Windows) 。Time Windo原创 2021-06-15 17:39:59 · 330 阅读 · 1 评论 -
Apache Flink学习笔记(8)Flink中流处理API(Source,Transformation,Sink)
Flink中流处理流程创建执行环境Flink Data SourceFlink Data TransformationFlink Data Sink创建执行环境getExecutionEnvironment创建一个执行环境,表示当前执行程序的上下文。 如果程序是独立调用的,则此方法返回本地执行环境;如果从命令行客户端调用程序以提交到集群,则此方法返回此集群的执行环境,也就是说,getExecutionEnvironment 会根据查询运行的方式决定返回什么样的运行环境,是最常用的一种创建原创 2021-05-05 17:13:11 · 580 阅读 · 1 评论 -
Apache Flink学习笔记(7)Flink中支持的数据类型,UDF和富函数
Flink支持的Java数据类型Java元组类型Flink中java的元组类型是Flink自己定义的。Tuple1,Tuple2,Tuple2.。。。。Tuple25以此类推数据结构类似于(data1,data2,data3)是一个线性表Java的包装类Integer,Double等等Java的简单对象(POJO)简单类,必须有无参构造函数,属性是public,属性不是public,就必须有get,set函数。其它ArrayList,HashMap等等。UDF(自定义函数)函数类函数原创 2021-04-21 11:10:17 · 255 阅读 · 0 评论 -
Apache Flink学习笔记(6)Flink中的程序中数据传输方式和Operator Chain
参考https://niyanchun.com/flink-quick-learning-6-operators.htmlhttps://blog.csdn.net/a3125504x/article/details/108648709任务之间的传输形式任务之间的数据传递形式既有默认的,也有自己通过API设定的。forward strategy(One-to-One)一个task的输出只发送给一个task作为输入如果两个task都在一个JVM中的话,那么就可以避免网络开销一般以下算子就是这样原创 2021-04-11 21:17:29 · 743 阅读 · 0 评论 -
Apache Flink学习笔记(5)Flink中的程序结构和4种Graph
参考https://niyanchun.com/flink-quick-learning-graph.htmlhttps://niyanchun.com/flink-quick-learning-graph.htmlFlink程序Flink程序都是由三部分组成:Source 、Transformation和Sink。Source负责读取数据源,Transformation利用各种算子进行处理加工,Sink负责输出4种Graph如上图,Flink中有4种图:StreamGraph、Job原创 2021-04-11 20:06:48 · 404 阅读 · 1 评论 -
Apache Flink学习笔记(4)Flink中的核心概念理解
asas原创 2021-04-10 20:59:48 · 314 阅读 · 3 评论 -
Apache Flink学习笔记(3)Flink的案例和提交作业
Flink提交作业流程https://blog.csdn.net/weixin_43622131/article/details/112256784案例maven依赖和前期准备maven工程中的resources需要放一个hello.txt文件。需要用nc开启一个tcp服务https://blog.csdn.net/liutao43/article/details/115495473 <dependency> <groupId>org.apache.fli原创 2021-04-08 20:29:54 · 212 阅读 · 0 评论 -
Flink 解决 No ExecutorFactory found to execute the application
参考https://cloud.tencent.com/developer/article/1730029Flink 1.11 开始报错Exception in thread "main" java.lang.IllegalStateException: No ExecutorFactory found to execute the application. at org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExec转载 2021-04-08 16:04:11 · 300 阅读 · 0 评论 -
Apache Flink学习笔记(2)Flink的3种部署方式
参考:https://niyanchun.com/flink-quick-learning-deployment-mode.html#comments3种部署方式截至1.12.0版本,Flink有3种集群部署/运行模式:Flink Session ClusterFlink Job ClusterFlink Application Cluster三种运行模式主要区别在3个方面:集群的生命周期集群的资源隔离main()方法在Client侧执行还是在集群侧执行Flink Session Cl转载 2021-04-07 11:03:51 · 469 阅读 · 0 评论 -
Apache Flink学习笔记(1)Flink简介及架构
Flink简介Apache Flink是一个框架和分布式处理引擎,用于对无边界和有边界的数据流进行有状态的计算。(unbounded and bounded data streams)有界流和无界流(unbounded and bounded data streams)无界流: 无界流有一个起点,但没有定义的终点。它们不会终止并在生成数据时提供数据。无限制的流必须被连续处理,即,事件被获取必须立即处理。无法等待所有输入数据到达,因为输入是无界的,并且在任何时间点都不会完成。处理无限制的数据通常要求以原创 2021-04-07 10:49:40 · 239 阅读 · 1 评论