flink
flink入门学习及实践
all_light
主要从事java开发,同时熟悉c,C++语言。会基于opencv做一些图像检测和识别。也接触嵌入式开发。
展开
-
Flink的window
概念一般真实的流都是无界的,处理无界的数据,可以把无限的数据流进行切分,得到有限的数据集进行处理-也就是得到有界流窗口(window)就是将无限流切割为有限流的一种方式,它会将流数据分发到有限大小的桶(bucket)中进行分析类型时间窗口(time window)1.滑动时间窗口(Sliding Windows)滑动窗口是滚动窗口的一个更广义的形式,滑动窗口由窗口大小和滑动间隔组成特点:窗口长度固定,可以有重叠2.滚动时间窗口(Tumbing windows)依据固定原创 2020-12-02 21:35:28 · 965 阅读 · 0 评论 -
Flink流处理API之Sink
Flink流处理API代码主要分为四个模块:environment, source,transform,sinkSinkflink中对外的输出都要利用sink的完成Kafkaobject KafkaSinkTest { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(1)原创 2020-11-25 21:37:29 · 406 阅读 · 0 评论 -
Flink流处理API之Transform
Flink流处理API代码主要分为四个模块:environment, source,transform,sinkTransform1.基本简单聚合算子map对每个元素做相应操作val dataStream2 = dataStream.filter(x => !x.isEmpty) .map(data => { val dataArray = data.split(",") SensorReading(dataArray(0).原创 2020-11-22 12:30:03 · 263 阅读 · 0 评论 -
Flink流处理API之environment And Source
Flink流处理APIflink API主要分为四个模块:environment, source,transform,sinkenvironmentgetExecutionEnvironment会根据执行的方式底层调用下面两种方式创建对应的环境:createLocalEnvironment和createRemoteEnvironment,分别为创建本地和远程的执行环境sourcesource分为四种:从集合读取数据,从文件读取数据,从kafka中消费数据,自定义source从原创 2020-11-22 12:18:47 · 248 阅读 · 0 评论 -
Flink运行时架构
flink运行时架构此文章主要描述flink的运行时架构,包括组件,提交,任务调度等flink环境安装https://www.cnblogs.com/linjiqin/p/12425584.htmlflink运行时的组件作业管理器(jobmanager),任务管理器(taskmanager), 资源管理器(Resource),分发器(Dispacher)jobmanager控制一个应用程序执行的主进程,应用程序包括:作业图,逻辑数据流图,和打包了所有类,库和其他资源的jar包原创 2020-11-19 21:30:01 · 198 阅读 · 1 评论