![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
hy1568786
码中问道
展开
-
flinksql time
FlinkSql指定时间语义 - 从不吃鱼的猫 - 博客园转载 2022-03-07 10:20:11 · 152 阅读 · 0 评论 -
flink的waterMark
combinebykey && aggregatebykey转载 2021-07-01 09:29:05 · 78 阅读 · 0 评论 -
flink 状态管理
参考了下面2篇blog,也比较详细了:1.云栖上的,讲了state与checkpoint:https://blog.csdn.net/xorxos/article/details/808772662.简书上的,讲了state的状态,存储,以及每中state的状态要如何使用:https://www.jianshu.com/p/0cab0c12c5eb...原创 2020-06-19 22:56:07 · 141 阅读 · 0 评论 -
flink系列文章汇总
1.flink简介2.flink结构3.flink source and sink4.flink window5.flink watermark6.flink 状态管理7.flink checkpoint and savepoint8.flink on yarn9.flink cep10.flink sideput11.flink ttl12.flink runtime13.flink 可查询状态14.flink 延迟数据15.flink 延时监控原创 2020-06-19 22:40:17 · 202 阅读 · 0 评论 -
flink window详解
内容概述:1.window的分类2.window组成:Window Assigner,trigger,Evictor3.案例参考:https://blog.csdn.net/u4110122855/article/details/81360381转载 2020-06-19 15:52:48 · 120 阅读 · 0 评论 -
flink的自定义window聚合统计(增量,全量)
window聚合统计(增量,全量)timewindow,countwindow就不说了,不知道的百度自定义widow:window的数值聚合统计对于某一个window内的数值统计,我们可以增量的聚合统计或者全量的聚合统计增量聚合统计窗口当中每加入一条数据,就进行一次统计reduce(reduceFunction)aggregate(aggregateFunction)sum(),min(),max()import org.apache.flink.api.comm..原创 2020-05-25 18:35:07 · 6014 阅读 · 0 评论 -
flink hdfs connect
source and sinkpublic class FileSystemConnector { public static void main(String[] args) throws Exception { // 创建流处理执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 从文本文件中数...原创 2020-05-08 20:08:17 · 228 阅读 · 0 评论 -
flink ttl(time to live)
TTL主要就是对state的清理,防止state过多占用系统资源,而导致资源不足。这是一篇云社区的文章,从源码角度详细的讲解了TTL.如何应对飞速增长的状态?Flink State TTL 概述https://cloud.tencent.com/developer/article/1452844这是一个培训的一篇应用类解释:http://m.dataguru.cn/threa...原创 2020-05-07 13:43:36 · 647 阅读 · 0 评论 -
flink的状态管理(state manage)与可查询状态
1.什么是状态管理2.可查询状态有什么应用场景????什么是状态管理:https://blog.csdn.net/xorxos/article/details/80877266可查询状态引入可查询状态的好处将有助于消除对键值存储(key-value stores)之类的外部系统的依赖,这些键值存储在实践中经常是瓶颈,正如上图所示。将Flink内部的状态暴露给外部实际...原创 2020-05-07 11:15:43 · 1296 阅读 · 0 评论 -
flink runtime
runtime是flink运行的状态,是flink的核心,在flink中扮演重要角色。注:原理性的东西,对比记忆,JM,TM与hadoop的主从都是相识的,一般都是序列化,rpc,主从,资源申请,分配。1.从源码看一下runtime有哪些东西这是runtime的所有目录,runtime主要有client,JM,TM,RM以及dispather等下面详细讲解一下r...原创 2020-05-05 12:30:40 · 513 阅读 · 0 评论 -
flink中消费kafka数据防止乱序
Kafka 分区时间戳当以 Kafka 来作为数据源的时候,通常每个 Kafka 分区的数据时间戳是递增的(事件是有序的),但是当你作业设置多个并行度的时候,Flink 去消费 Kafka 数据流是并行的,那么并行的去消费 Kafka 分区的数据就会导致打乱原每个分区的数据时间戳的顺序。在这种情况下,你可以使用 Flink 中的Kafka-partition-aware特性来生...原创 2020-05-04 18:42:51 · 5107 阅读 · 2 评论 -
flink on yarn
flink部署在yarn上1.flink-session【直接提交,就可以运行,资源固定,用完即释放,适合小规模任务,如果大规模,很难满足资源设置的资源时,任务就会被挂起,或者根本不会执行】2.flink-pre【按需申请,能更加合理的利用资源】详解2中模式的区别::第一种模式:单个yarn session模式这种方式需要先启动集群,然后在提交作业,接着会向yar...原创 2020-05-04 12:56:39 · 235 阅读 · 0 评论 -
flink延时监控
流式计算中处理延迟是一个非常重要的监控metricflink中通过开启配置 metrics.latency.interval 来开启latency后就可以在metric中看到askManagerJobMetricGroup/operator_id/operator_subtask_index/latency指标了如果每一条数据都打上时间监控 输出时间- 输入时间,会大量的消耗性能...转载 2020-05-03 16:20:40 · 2050 阅读 · 0 评论 -
flink的分区器策略
1.随机分区器ShufflePartitioner2.自定义分区器CustomPartitionerWrappery使用用户定义的分区程序为每个元素选择目标任务。3.全局分区器GlobalPartitioner4.重行分区RebalancePartitioner分区元素轮循,从而为每个分区创建相等的负载。在存在数据偏斜的情况下对性能优化有用。详细代码:https:...原创 2020-05-02 13:47:35 · 737 阅读 · 0 评论 -
flink分布式缓存
1 分布式缓存Flink提供了一个分布式缓存,类似于hadoop,可以使用户在并行函数中很方便的读取本地文件,并把它放在taskmanager节点中,防止task重复拉取。此缓存的工作机制如下:程序注册一个文件或者目录(本地或者远程文件系统,例如hdfs或者s3),通过ExecutionEnvironment注册缓存文件并为它起一个名称。当程序执行,Flink自动将文件或者目录复制到所有tas...原创 2020-05-02 13:31:05 · 528 阅读 · 0 评论 -
Flink Broadcast 广播变量应用案例
在Flink中,同一个算子可能存在若干个不同的并行实例,计算过程可能不在同一个Slot中进行,不同算子之间更是如此,因此不同算子的计算数据之间不能像Java数组之间一样互相访问,而广播变量Broadcast便是解决这种情况的。如下代码所示: val env = ExecutionEnvironment.getExecutionEnvironment val ds1 = en...原创 2020-05-02 13:15:41 · 428 阅读 · 0 评论 -
flink自定义mysql的source与sink
flink自定义mysql的源与输出方式一:基于mysql的source操作object MysqlSource { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment val source: DataStream[...原创 2020-05-02 09:12:06 · 2598 阅读 · 0 评论 -
聊聊flink基于JDBC的操作的source与JDBCAppendTableSink
聊聊flink的JDBCAppendTableSink序本文主要研究一下flink的JDBCAppendTableSink实例JDBCAppendTableSink sink = JDBCAppendTableSink.builder() .setDrivername("org.apache.derby.jdbc.EmbeddedDriver") .setDB...原创 2020-05-02 07:44:35 · 1795 阅读 · 0 评论 -
flink中常用的算子
flink中常用的算子参考博客仅供学习https://blog.csdn.net/chybin500/article/details/87260869转载 2019-11-13 12:54:08 · 2889 阅读 · 0 评论