![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 85
羽落风起
乐观积极的生活,用梦想浇灌希望的种子,不管风和日,还是狂风暴雨,活出自己的色彩。
展开
-
flink(十五):udf自定义函数
文章目录说明分享资料种类标量函数说明实例表值函数说明实例聚合函数说明代码实例表值聚合函数说明代码实例总结2022-04-08说明本博客每周五更新一次。自定义函数(UDF)是一种Flink 扩展开发机制,可在查询语句里实现自定义的功能逻辑。自定义函数可用 JVM 语言(例如 Java 或 Scala)或 Python 实现,推荐java或scala。分享大数据博客列表开发记录汇总个人java工具库 项目https://gitee.com/wangzonghui/object-tool原创 2022-04-08 09:08:23 · 5037 阅读 · 5 评论 -
flink(十四):sql版连接器和窗口实例
文章目录说明分享资料实例连接器随机数连接器输出连接器kafka连接器hive连接器mysql连接器Elasticsearch连接器hbase窗口滚动窗口总结说明本博客周五更新一次Flink Sql 支持众多连接器,语句各有不同,使用时查找起来麻烦,找到了也可能是错的,因此我整理收集了已知的连接与窗口实例,并持续更新,在此分享出来。分享大数据博客列表资料datagen文档jdbckafkahive基础文档 不同版本hive使用不同jarhive读写文档hbase文档原创 2021-07-16 12:21:34 · 513 阅读 · 6 评论 -
flink(十三):flink-CheckPoint和SavePoint作用和区别
文章目录分享说明CheckcPoint运行原理开启设置保存多个CheckPoint恢复任务SavePoint运行原理创建SavePoint恢复任务SavePoint和CheckPoint的区别详细区别总结分享大数据博客列表说明本博客周五更新一次Flink 功能模块CheckPoint(检查点)和SavePoint(保存点)是任务异常后恢复任务的重要功能,当任务异常关闭时,可以从检查点或保存点恢复任务。CheckcPointCheckPoint是 flink 实现容错机制最核心的功能,原创 2021-07-09 12:09:57 · 1485 阅读 · 4 评论 -
flink(十二):Table&Sql实现kafka输入输出
文章目录分享说明资料过程代码kafka操作总结分享大数据博客列表说明本博客每周五更新一次。实时计算处理中,kafka是重要的分布式消息队列,常作为 Flink 计算的输入和输出,本博客将使用 Flink 1.2实现 kafka 对数据的输入和输出操作。资料官方Flink 1.12 Table API&SQL kafka操作文档地址过程从kafka:input_kafka主题消费数据并生成Table,然后过滤状态为success的数据再写回到kafka:outpu_ka原创 2021-07-02 12:10:21 · 1843 阅读 · 0 评论 -
flink(十一):Table&Sql实现窗口水印计算
文章目录分享说明实现讲解代码总结分享大数据博客列表说明本博客每周五更新一次。本文属于实战,讲解 Flink1.12 版本java代码使用时间窗口加水印实现,具体需求为5秒内用户订单总数、订单最大金额、最小金额实现讲解代码结构分为5部分,准备环境 env数据输入 source模拟数据生成数据处理 transformation创建水印、窗口执行任务基于sql和table风格实现对应功能数据输出 sink启动任务 execute代码所有代码基于j原创 2021-06-25 15:17:23 · 579 阅读 · 0 评论 -
flink(十):Table&Sql注册表和视图
文章目录分享说明资料实现讲解代码总结分享大数据博客列表说明本文属于实战,讲解 Flink1.12 版本java代码注册表和视图的实现方法,开发环境搭建,参考上篇文章,这里不再赘述。资料官方Flink 1.12中文版Table API&SQL文档地址实现讲解代码结构分为5部分,准备环境 env数据输入 source数据处理 transformation数据输出 sink启动任务 execute代码所有代码基于java1.8import sta原创 2021-06-18 12:18:19 · 1605 阅读 · 2 评论 -
flink(九):Table&Sql环境搭建和程序结构
文章目录分享说明资料架构优势maven导包tabel API和SQL本地环境配置优化stream支持scala支持自定义格式或函数程序结构Blink(新)和flink(旧)计划器区别程序结构总结分享大数据博客列表说明Flink Table 相关知识是我一直感兴趣的部分,现决定跨过一些不必要的知识,直接学习 Flink Table ,本文主要介绍 flink table 架构和接口实现。Apache Flink 有两种关系型 API 来做流批统一处理:Table API 和 SQL。Table原创 2021-06-11 12:18:23 · 472 阅读 · 6 评论 -
flink(八):连续窗口和混合窗口
文章目录说明连续窗口独立窗口连续窗口wondow 多流合并滚动窗口关联滑动窗口关联会话窗口关联间隔关联总结说明本博客每周五更新一次。之前介绍了窗口和窗口函数,这次分享连续窗口和混合窗口的相关知识。连续窗口独立窗口针对同一个DataStream窗口进行不同的窗口处理,窗口间相对独立,输出结果在不同的DataStream中,这时Flink Runtime执行环境中,将分为两个Window Operator在不同的Task中执行,相互之间元数据不会进行共享。实例代码如下:val input原创 2021-06-04 13:58:06 · 1531 阅读 · 0 评论 -
flink(七):窗口函数
文章目录说明窗口函数ReduceFunctionAggregateFunctionFoldFunction(新版本废弃)ProcessWindowFunctionIncremental Aggregation和ProcessWindowFunction整合总结说明本博客每周五更新一次,上周五太忙,推迟到今天更新,以后尽量周五更新。本博文主要分享flink的窗口计算相关函数类型,窗口函数分类、特点和使用方法。窗口函数Flink中提供了四种类型的Window Function,分别为Reduce原创 2021-05-31 18:11:25 · 1269 阅读 · 7 评论 -
flink(六):框架和原理
2021-05-24文章目录说明角色分工flink on yarn执行流程DataFlow执行过程独立OperatorOperator合并OperatorChainOperator算子间传递模式One TO One模式Redistributing模式执行原理StreamGraphJobGraphExecutionGrap物理执行图总结说明本博客每周五更新一次,上周五有事,推迟到今天更新。本博文主要分享flink的系统架构和执行原理,介绍flink的角色分工和任务执行的具体步骤和过程。角色分工原创 2021-05-24 07:38:29 · 186 阅读 · 6 评论 -
flink(五):窗口
文章目录说明窗口Keyed 和 Non-Keyed窗口Window Assigner滚动窗口滑动窗口会话窗口全局窗口总结说明本博客每周五更新一次。本博客主要讲解flink窗口相关知识,通过窗口完成指定规则内数据的处理。窗口窗口计算是流式计算中常用的数据计算方式之一,通过按照固定时间或长度将数据流切分成不同的窗口,再对数据进行相应的聚合操作,得到一定时间范围内的统计结果,例如统计最近5分钟内某网站的点击数,此时,点击数据在不断产生,通过5分钟窗口将数据限定在固定时间范围内,就可以对该范围内的有原创 2021-05-14 18:22:52 · 221 阅读 · 12 评论 -
flink(一):简介和基本功能
文章目录说明有界与无界有界数据集无界数据集flink接口结构FLink SQLFlink TableDataStreamStateful Stream Processing API程序结构 DataStream API数据类型原生数据类型java Tuplesscala Case classPOJOs类型Flink Value类型特殊数据类型总结说明本博客每周五更新一次。flink被定义为第三代大数据平台计算框架处理引擎,由java和scala语言开发,Data Artisans公司开发,阿里将其应原创 2021-04-16 12:26:39 · 2615 阅读 · 0 评论 -
flink(四):1.2版本时间、水位线讲解和代码实例
文章目录说明水位线种类顺序事件中的Watermarks乱序事件中的Watermarks并行数据流中的Watermarks时间概念Event Timewatermark指定Timestamps总结说明本博客每周五更新一次。本博客主要讲解讲解flink时间概念和水位线相关知识,这部分是flink实时处理的核心功能,想要处理好实时和延迟数据,必须熟练掌握flink的时间概念和水位线。水位线水位线是flink的一种处理延时数据的机制,主要对设定时间内延时数据的自动容错,水位线的本质是时间戳,计算公式原创 2021-05-07 12:12:31 · 729 阅读 · 0 评论 -
flink(三):数据处理Transformation
文章目录说明Transformation 数据处理SingleDataStreamMapFlatMapFilterKeyByReduceAggregationsMultiDataStreamUnioConnect,CoMap,CoflatMapsplitSelectIterate物理分区随机分区(Random Partitioning)平衡分区(Roundrobin Partitioning)Rescaling partitioning广播操作自定义分区总结说明本博客每周五更新一次。本博客主要讲解t原创 2021-04-30 14:07:23 · 735 阅读 · 0 评论 -
flink(二):数据接入DataSource和数据输出DataSink
文章目录说明DataSource 数据接入内置数据源文件socketflink集合数据源第三方数据源kafka Connector解析类自定义数据源连接器单线程数据源连接器并发数据源连接器DataSink 数据输出基本输出类型第三放输出类型总结说明本博客每周五更新一次。flink数据处理过程分为三部分:DataSource、Transformation、DataSink,分别处理数据的接入、处理和输出,由于处理部分内容较多,下次分享,本文只介绍数据接入和数据输出。DataSource 数据接入原创 2021-04-23 12:09:56 · 1087 阅读 · 2 评论