![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 62
knowfarhhy
开始恢复 写一些学习记录
展开
-
Flink SQL JDBC你踩过的坑
Flink SQL JDBC你踩过的坑原创 2022-03-26 12:45:56 · 5539 阅读 · 0 评论 -
Java+Flink等面试汇总一:
为了更好的帮助大家面试,这里整理汇总了面试的相关书籍和文档。面试书籍:Flink学习面试灵魂40问答案:https://cloud.tencent.com/developer/article/1506784程序员面试手册链接:https://pan.baidu.com/s/1oV7RkzmXs9x43KS499qVcg 提取码:edfc阿里云技术面试红宝书链接:https://pan.baidu.com/s/1K2x1cWn0qRK8tadKDN_nAA 提取码:nnbbAbout云面试原创 2022-02-08 10:05:51 · 1159 阅读 · 0 评论 -
Flink 实现自定义滑动窗口
背景一般情况下 Flink 提供的窗口可以满足我们大部分的场景,但是有时候我们需要计算一个固定时间范围内的数据,比如实时计算每天凌晨到第二天凌晨的数据,或者每天上午 7 点到第二天上午 7 点。类似于这种情况 Flink 默认提供的窗口是不支持的,因为 Flink 计算窗口的开始时间和结束时间是根据数据本身携带的时间戳然后把数据划分到不同的窗口的,所以它不是一个固定的范围。这个时候就需要我们自己实现窗口划分的逻辑。Flink 提供了 WindowAssigner 抽象类,我们只需要实现 assignWin转载 2022-02-08 09:52:55 · 1073 阅读 · 0 评论 -
flink-redis-connector实现
分享一个项目flink-redis-connector,功能如下:支持Flink SQL写Redis支持Flink SQL读Redis维表(高时效性&提供缓存,非定期全量load的all cache方式)一 :维表方式create table histalarmDim( metricKey varchar, histalarmData ARRAY< varchar >) with ( 'connector' = 'redis',原创 2022-02-08 09:42:24 · 3273 阅读 · 2 评论 -
使用正则匹配去掉SQL文本中的注释
如何去掉SQL中的注释,其中注释包含了/***///等格式: Pattern p = Pattern.compile("(?ms)('(?:''|[^'])*')|--.*?$|//.*?$|/\\*.*?\\*/|#.*?$|"); String presult = p.matcher(sql).replaceAll("$1"); System.out.println(presult);...原创 2021-09-26 19:31:51 · 2361 阅读 · 3 评论 -
Flink自定义TableSink TableSource
基本知识TableSource提供了从外部系统(消息队列,KV存储,数据库,文件系统等)接入数据,之后注册到TableEnvironment中,然后可以通过Table API或者SQL进行查询。TableSink提供了将flink内部注册的Table中的数据写出到外部系统(Es ,Hbase ,消息队列数据库,文件系统等)。TableFactory用来创建TableSource 、Table...原创 2019-10-14 22:43:47 · 3922 阅读 · 2 评论 -
flink内置函数
flink内置函数flink支持的字符串函数:string1 || string2 : 两个字符串串联CHAR_LENGTH(string) / CHARACTER_LENGTH(string) :返回字符串字符长度UPPER(string) : 返回大写格式的字符串LOWER(string) : 返回小写格式的字符串POSITION(string1 IN string2) : 返回s...原创 2019-09-19 10:10:05 · 19845 阅读 · 4 评论 -
Fllink table 使用过程中无法找到TableFactory的子类如KafkaSourceSinkFactory StreamTableSourceFactory等
我正在使用flink表api,使用kafka作为输入源,使用json作为表模式。提交程序时出现此错误:`程序完成以下异常:org.apache.flink.client.program.ProgramInvocationException: The main method caused an error.at org.apache.flink.client.program.PackagedP...原创 2019-09-12 11:44:47 · 6486 阅读 · 3 评论 -
如何在 Flink 1.9 中使用 Hive?
Apache Flink 从 1.9.0 版本开始增加了与 Hive 集成的功能,用户可以通过 Flink 来访问 Hive 的元数据,以及读写 Hive 中的表。本文将主要从项目的设计架构、最新进展、使用说明等方面来介绍这一功能。Flink on Hive 介绍SQL 是大数据领域中的重要应用场景,为了完善 Flink 的生态,发掘 Flink 在批处理方面的潜力,我们决定增强 FlinkS...翻译 2019-09-09 23:42:23 · 306 阅读 · 0 评论 -
Flink Time & Window 解析
一、Window & Time 介绍Apache Flink(以下简称 Flink) 是一个天然支持无限流数据处理的分布式计算框架,在 Flink 中 Window 可以将无限流切分成有限流,是处理有限流的核心组件,现在 Flink 中 Window 可以是时间驱动的(Time Window),也可以是数据驱动的(Count Window)。下面的代码是在 Flink 中使用 Win...翻译 2019-08-28 15:14:02 · 415 阅读 · 0 评论 -
Apache Flink 1.8.0 中的状态生存时间特性:如何自动清理应用程序的状态
对于许多状态流式计算程序来说,一个常见的需求是自动清理应用程序的状态(state),以便有效地控制状态大小,或者控制程序访问状态的有效时间(例如受限于诸如GDPR等法律条规)。Apache Flink 自 1.6.0 版本引入了状态的生存时间(time-to-live,TTL)功能,使得应用程序的状态清理和有效的状态大小管理成为可能。在本文中,我们将讨论引入状态生存时间特性的动机并讨论其相关用例...翻译 2019-08-21 18:17:56 · 1107 阅读 · 0 评论 -
初学flink ---PageRank例子学习
import java.lang.Iterableimport org.apache.flink.api.common.functions.GroupReduceFunctionimport org.apache.flink.api.java.aggregation.Aggregations.SUMimport org.apache.flink.api.java.utils.Paramet...原创 2019-05-15 11:27:01 · 481 阅读 · 0 评论