![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
积微成著
每一个你不满意的现在,都有一个你没有努力的曾经。
展开
-
Flink——状态管理
Flink——状态管理1 有状态计算有状态计算是Flink非常重要的特性之一。什么是状态?一般来说,状态是由一个task维护,并用于计算某个结果的所有数据,都属于这个任务的状态。也可以理解为一个本地变量,可以被task的业务逻辑访问。下图展示了一个task与它的state的常规交互过程:task在处理数据时,会先访问state,并根据输入信息和state信息更新state。Flink会处理...原创 2020-05-05 00:09:56 · 491 阅读 · 0 评论 -
Flink——Side Output侧输出流
主要内容:在处理数据的时候,有时候想对不同情况的数据进行不同的处理,那么就需要把数据流进行分流。可以在主数据流上产生出任意数量额外的侧输出流。原创 2020-05-03 23:08:15 · 8724 阅读 · 2 评论 -
Flink——实战:EventTime结合Watermark应用案例
主要内容:- 从SocketSource接收数据,时间语义采用EventTime,统计用户在T分钟内的总消费金额。原创 2020-04-26 00:39:42 · 985 阅读 · 0 评论 -
Flink——原理与实战:AggregateFunction
主要内容:- 介绍AggregateFunction- 案例:从SocketSource接收数据,通过Flink 时间窗口以及AggregateFunction方法统计用户在24小时内的平均消费金额原创 2020-04-25 10:55:42 · 12393 阅读 · 2 评论 -
Flink——Time&Windows&Watermark
主要内容:- 介绍Time、Window、Watermark的基本概念- 介绍几个实现案例原创 2020-04-25 09:43:45 · 382 阅读 · 0 评论 -
Flink——原理与实战:RedisSink
主要内容:分析RedisSink源码,并结合具体案例实现Flink将数据写入Redis。原创 2020-04-19 23:42:36 · 1876 阅读 · 1 评论 -
Flink——实战之MySQL Sink
主要内容:实现Flink写数据到MySQL,即MySQL Sink。原创 2020-04-18 23:30:58 · 7314 阅读 · 1 评论 -
Flink——实战之Redis Sink
主要内容:实现Flink写数据到Redis,即Redis Sink。原创 2020-04-18 23:28:34 · 4622 阅读 · 0 评论 -
Flink——Flink1.10.0整合Kafka之KafkaSource和KafkaSink
主要内容:基于scala代码实现Flink1.10.0实时消费Kafka数据并写入Kafka原创 2020-04-16 23:25:25 · 4569 阅读 · 0 评论 -
Flink——自定义Source
主要内容:介绍Flink自定义Source的使用方法。原创 2020-04-15 23:20:00 · 4202 阅读 · 0 评论 -
Flink——DataStream API
关于Flink程序的开发流程和具体案例请参考:Flink——从零搭建Flink应用。DataSourceDatasource用于Flink程序读取数据,可通过:StreamExecutionEnvironment.进行配置。内置数据源文件数据源:readTextFile(path):直接读取文本文件;readFile(fileInputFormat, path):读取指定类型的文件...原创 2020-04-13 23:35:05 · 330 阅读 · 0 评论 -
Flink——从零搭建Flink应用
Flink——从零搭建Flink应用主要内容:环境准备创建Flink项目模板编写Flink程序运行测试环境准备Flink执行环境分为本地环境和集群环境,可运行在Linux、Windows和Mac OS上。首先介绍环境依赖:JDK:版本要求:1.8及以上Maven:Flink源码目前仅支持通过Maven进行编译,版本要求:3.0.4及以上Scala:根据开发语言选择是否安...原创 2020-04-12 22:39:00 · 551 阅读 · 0 评论