![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 79
代码编制世界
大数据
展开
-
flink window之Window Join
基本语法:stream.join(otherStream) .where(<KeySelector>) .equalTo(<KeySelector>) .window(<WindowAssigner>) .apply(<JoinFunction>)1、Tumbling Window Join案例:val fsEnv = StreamExecutionEnvironment.getExecutionEnvironmen原创 2021-01-20 23:32:52 · 562 阅读 · 0 评论 -
flink window之Triggers、evictor以及基于Event Time的window对于迟到数据的处理
1、Trigger触发器(Trigger)决定何时由“Window Function”处理窗口, 每个WindowAssigner都带有一个默认Trigger。 如果默认触发器不符合您的需求,则可以使用trigger(...)指定自定义触发器。WindowAssigners触发器global windowNeverTriggerevent-time windowEventTimeTriggerprocessing-time windowProcessingTimeT原创 2021-01-20 23:27:46 · 783 阅读 · 0 评论 -
flink window之四大window functions
在前面的文章中,博主分享了flink的四大assigner,有需要的发烧友点击链接https://blog.csdn.net/qq_44962429/article/details/112912432查询,欢迎指出问题,交流分享!本文主要介绍flink的window functionswindow functions当系统认定窗口就绪之后会调用Window Functions对窗口实现聚合计算。常见的Window Functions有以下形式: ReduceFunction, AggregateFun原创 2021-01-20 22:58:21 · 258 阅读 · 0 评论 -
flink window之四大WindowAssigner
Windows是流计算的核心。Windows将流分成有限大小的“buckets”,我们可以在其上应用聚合计算(ProcessWindowFunction,ReduceFunction,AggregateFunction或FoldFunction)等。在Flink中编写一个窗口计算的基本结构如下:Keyed Windowsstream .keyBy(...) .window(...) <- 必须制定: 窗口类型 [原创 2021-01-20 22:40:49 · 901 阅读 · 0 评论 -
flink之checkpoint、savepoint,Flink计算发布之后是否还能够修改计算算子?(指状态恢复)
1、chekpoint、savepointCheckPoint是Flink实现故障容错的一种机制,系统会根据配置的检查点定期自动对程序计算状态进行备份。一旦程序在计算过程中出现故障,系统会选择一个最近的检查点进行故障恢复。SavePoint是一种有效的运维手段,需要用户手动触发程序进行状态备份,本质也是在做CheckPoint。./bin/flink cancel -m centos:8081 -s hdfs:///savepoints f21795e74312eb06fbf0d48cb8d90489原创 2021-01-20 22:11:12 · 825 阅读 · 0 评论 -
flink之Operator State(non-keyed state)
flink介绍,flink对所有的算子都支持有状态计算,在博主之前分享的文章中,关于keyed state已经做过很详细的介绍,欢迎各位发烧友点击https://blog.csdn.net/qq_44962429/article/details/104428236交流虽然在我们平时的生产环境中,关于keyed state应用的比较多,但是对于那些基于窗口输出到外部系统的需要,为了数据不丢失或者重复输出到外部系统,sink算子也是需要进行保存状态的,接下来本文主要介绍Operator state1、Ope原创 2021-01-20 22:01:08 · 1261 阅读 · 0 评论 -
flink之TTL(Time To Live),State Backend,How to Clear State?
Flink在管理状态方面,使用Checkpoint和Savepoint实现状态容错。Flink的状态在计算规模发生变化的时候,可以自动在并行实例间实现状态的重新分发,底层使用State Backend策略存储计算状态,State Backend决定了状态存储的方式和位置。Flink在状态管理中将所有能操作的状态分为Keyed State和Operator State。Keyed State类型的状态同key一一绑定,并且只能在KeyedStream中使用。所有non-KeyedStream状态操作都叫做原创 2021-01-20 21:29:31 · 760 阅读 · 0 评论 -
flink table & sql(一)table基础概念、环境搭建、source、sink
一、concepts1、表表可以是虚拟(VIEWS)或常规(TABLES)。VIEWS可以从现有Table对象创建,通常是Table API或SQL查询的结果。TABLES描述外部数据,例如文件,数据库表或消息队列。表三部分标识符:目录、数据库、表名。其中,目录、数据库是可选的。tEnv.useCatalog("custom_catalog");tEnv.useDatabase("custom_database");1.1 临时表与永久表表可以是临时的,并与单个Flink会话的生命周期相关,原创 2020-09-23 11:31:01 · 1896 阅读 · 0 评论 -
基于flink broadcast实现目标用户的智能筛选
1、broadcast简介支持Operator State的第三种类型是广播状态,其中需要将来自一个流的某些或者全部数据广播到所有下游任务,广播的状态将存储在本地,用于处理另一个流上所有传入的元素。2、API使用博主分享两个案例分别描述key_broadcast和nonKeyed_broadcast。需求描述:某电商系统,需要通过监控用户的浏览记录,根据不同商品的营销活动规则,筛选出目标用户,实现促销。案例一: nonKeyed_broadcast(1) 实体类准备package com.le原创 2020-08-19 15:25:08 · 473 阅读 · 1 评论 -
一篇由flink akka timeoutException引发的slot和parallelism
首先来看下程序错误信息:caused by: akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka://flink/user/taskmanager_0#15608456]] after [10000 ms]. Sender[null] sent message of type "org.apache.flink.runtime.rpc.messages.LocalRpcInvocation".跟着这问题在 Flink官网 的原创 2020-08-17 14:37:15 · 807 阅读 · 0 评论