![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 77
晚点吧
。。。。点
展开
-
flink 时间语义与Wartermark
1 Flink 中的时间语义在Flink 的流式处理中,会涉及到时间的不同概念,如下图所示:Event Time:是事件创建的时间。它通常由事件中的时间戳描述,例如采集的日志数据中,每一条日志都会记录自己的生成时间,Flink 通过时间戳分配器访问事件时间戳。Ingestion Time:是数据进入Flink 的时间。Processing Time:是每一个执行基于时间操作的算子的本地系统时间,与机器相关,默认的时间属性就是Processing Time。一个例子——电影《星球大战》:原创 2021-03-16 00:53:53 · 145 阅读 · 0 评论 -
Flink 之 Window
1 Window1.1 Window 概述streaming 流式计算是一种被设计用于处理无限数据集的数据处理引擎,而无限数据集是指一种不断增长的本质上无限的数据集,而window 是一种切割无限数据为有限块进行处理的手段。Window 是无限数据流处理的核心,Window 将一个无限的stream 拆分成有限大小的”buckets”桶,我们可以在这些桶上做计算操作。1.2 Window 类型Window 可以分成两类:CountWindow:按照指定的数据条数生成一个Window,与时原创 2021-03-16 00:37:26 · 114 阅读 · 0 评论 -
Flink 流处理API2
1. SinkFlink 没有类似于spark 中foreach 方法,让用户进行迭代的操作。虽有对外的输出操作都要利用Sink 完成。最后通过类似如下方式完成整个任务最终输出操作。stream.addSink(new MySink(xxxx))官方提供了一部分的框架的sink。除此以外,需要用户自定义实现sink。1.1 kafka<dependency> <groupId>org.apache.flink</groupId> &l原创 2021-03-15 01:00:42 · 61 阅读 · 0 评论 -
Flink 流处理API 1
Flink 流处理API1 Environment1.1 getExecutionEnvironment创建一个执行环境,表示当前执行程序的上下文。如果程序是独立调用的,则此方法返回本地执行环境;如果从命令行客户端调用程序以提交到集群,则此方法返回此集群的执行环境,也就是说,getExecutionEnvironment 会根据查询运行的方式决定返回什么样的运行环境,是最常用的一种创建执行环境的方式。val env: ExecutionEnvironment = ExecutionEnvir原创 2021-03-15 00:46:51 · 116 阅读 · 0 评论