flink
文章平均质量分 75
保护我方胖虎
书山有路勤为径,学海无涯乐作舟
展开
-
springboot集成flink-cdc
springboot集成flink-cdc 实时变更捕获技术 监听数据库变化原创 2022-08-25 17:01:44 · 9996 阅读 · 18 评论 -
Flink程序 Timer实现定时操作
Flink程序中 Timer实现定时操作原创 2021-08-15 18:46:15 · 13857 阅读 · 2 评论 -
Flink本地开发(例如在IDEA/Eclipse中)模式启动WEB-UI
前言我们在IDE中编写Flink代码,我们希望在IEDA中运行程序便能够查看到Web-UI,从而快速的了解Flink程序的运行情况(而无需自己手动安装Flink,以及打包提交任务)一、添加依赖本示例是基于Flink1.12进行演示的<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.12</artifactId>原创 2021-07-14 08:46:43 · 9903 阅读 · 5 评论 -
Flink Standlone集群搭建
Flink Standlone集群搭建详细教程原创 2021-07-10 20:12:56 · 7753 阅读 · 4 评论 -
Flink-State-TTL 状态过期时间设置
Flink-State-TTL 状态过期时间设置原创 2021-06-09 23:01:37 · 12920 阅读 · 4 评论 -
Flink-KeyedState-MapState结合Window使用
Flink-KeyedState-MapState结合Window进行使用原创 2021-06-09 21:48:41 · 8235 阅读 · 0 评论 -
Flink Keyed State 使用步骤
Keyed State 如何使用?步骤是什么呢?原创 2021-06-08 23:13:43 · 6499 阅读 · 2 评论 -
Flink-Keyed State-ValueState使用(结合Window)
值状态(ValueState),将状态表示为单个值;(直接.value获取,Set操作是.update)原创 2021-06-08 22:38:15 · 7321 阅读 · 0 评论 -
Flink-WaterMaker+AllowedLateness+SideOutPutTag
解决一定程度因数据不全,导致窗口计算误差;对高延迟数据进行收集,避免数据丢失原创 2021-06-06 21:39:55 · 6377 阅读 · 1 评论 -
Flink-State
什么是有状态计算?Flink如何做有状态计算,如何高效的进行状态管理?原创 2021-05-29 12:05:17 · 6439 阅读 · 0 评论 -
Flink- WaterMaker+Allowed-Lateness
有了WaterMaker,可以一定程度解决乱序问题造成的数据丢失,那么还是丢失的数据怎么处理呢?如何让乱序严重的数据,迟到严重的数据不丢失呢?这个时候可以使用 WaterMaker+Allowed-Lateness原创 2021-05-29 12:04:03 · 7013 阅读 · 0 评论 -
Flink 解决乱序问题之WaterMarker
事件乱序了怎么办?用WaterMaker啦!原创 2021-05-26 22:33:36 · 8295 阅读 · 6 评论 -
Flink窗口-时间窗口
时间窗口中,时间是什么时间?时间窗口特点是什么?原创 2021-05-23 22:25:10 · 14061 阅读 · 17 评论 -
Flink窗口核心概念-有KEY窗口和无KEY窗口
有KEY窗口和无KEY窗口的区别是什么?各自特性是什么?原创 2021-05-23 21:08:10 · 8797 阅读 · 10 评论 -
Flink窗口-计数窗口(CountWindow)
countWindow的具体使用原创 2021-05-23 17:56:38 · 12830 阅读 · 0 评论 -
Flink 窗口算子知识点扫盲
什么是窗口?为什么需要窗口?有哪些窗口?如何使用窗口?原创 2021-05-19 22:10:21 · 6730 阅读 · 0 评论 -
Flink TaskSlot与并行度
为什么设置了并行度后程序启动失败?taskSlot与并行度究竟有什么不可告人的秘密关系?原创 2021-05-18 23:06:22 · 10767 阅读 · 8 评论 -
Flink JobManger、TaskManger、TaskSlots、Client作用
JobManager、TaskManager、taskSlot你真的了解吗?我且问你,我如果设置并行度为2,我需要多少个taskManger、taskSlot?原创 2021-05-17 22:45:21 · 9784 阅读 · 4 评论 -
Flink作业提交
当我们使用IDEA/ECLIPSE 编辑器,对我们自己的Flink计算逻辑编辑完成之后呢,会将程序打包到服务器,使用Flink组件去计算(让JObManger去帮助我们进行作业管理)(一)服务器执行命令提交(1)作业打包可使用IDEA打包插件,或者执行package命令mvn clean package,对我们java程序进行打包(2)上传至服务器(3)执行命令提交命令: flink脚本<bin目录下flink脚本> run -c<作业Main方法所在类全限定名> 作原创 2021-05-16 21:26:10 · 6841 阅读 · 2 评论 -
Flink-Connectors(连接器)(3)RabbitMQ
flink 提供了专门操作RabbitMQ的连接器,使用起来更方便,配置连接信息即可快速实现数据读取与输出,但目前仅支持Queue模式,如需使用交换机模式,仍需要自定义RabbitMQ 数据源读取与数据原创 2021-04-12 21:54:59 · 8169 阅读 · 2 评论 -
Flink-Connectors(连接器)(2)Redis
flink 提供了专门操作redis 的RedisSink,使用起来更方便,而且不用我们考虑性能的问题,接下来将主要介绍RedisSink 如何使用原创 2021-04-12 21:49:31 · 6751 阅读 · 2 评论 -
Flink-Connectors(连接器)(1)JDBC
什么是连接器预定义的源和接收器 Flink内置了一些基本数据源和接收器,这些数据源和接收器始终可用。该预定义的数据源包括文件、Mysql、RabbitMq、Kafka、ES等,同时也支持数据输出到文件、Mysql、RabbitMq、Kafka、ES等。 简单的说:flink连接器就是将某些数据源加载与数据输出做了封装(连接器),我们只要引入对应的连接器依赖,即可快速的完成对数据源的加载以及数据的输出。 例如我们使用JDBC 连接器,即可快速的使用JDBC从数据库中加载数据源并支持数据通原创 2021-04-12 21:36:45 · 7980 阅读 · 5 评论 -
Flink 程序Sink(数据输出)操作(5)自定义RabbitMq-Sink
自定义rabbitmq sink 将结果数据发送到自定义交换机中原创 2021-04-12 21:01:46 · 7362 阅读 · 0 评论 -
Flink 程序Sink(数据输出)操作(4)自定义Redis-Sink
自定义redis sink 将flink计算数据输出到redis原创 2021-04-11 22:35:05 · 6702 阅读 · 0 评论 -
Flink 程序Sink(数据输出)操作(3)自定义Mysql-Sink
Flink 程序Sink(数据输出)操作(3)自定义Mysql-Sink自定义sink需要继承RichSinkFunctionex:public static class MysqlSink extends RichSinkFunction<IN> {}自定义Mysql-sinkpublic static class MysqlSink extends RichSinkFunction<VehicleAlarm> { Connection conn = n原创 2021-04-11 22:18:51 · 8167 阅读 · 1 评论 -
自定义sink实现方式
有时候Flink连接器无法完全符合我们的业务,我们需要自行拓展Sink,例如处理后的数据,输出到ES,输出到RabbitMQ,输出到Kafka等等。原创 2021-04-11 22:04:09 · 6723 阅读 · 0 评论 -
Flink 程序Sink(数据输出)操作(2)文件
有时候,我们需要将我们Flink程序的计算结果输出到文件中(本地文件/HDFS)文件,Flink程序本身便支持这种操作原创 2021-04-11 21:14:37 · 9772 阅读 · 0 评论 -
Flink 程序Sink(数据输出)操作(1)控制台
`sink`是`flink`程序三大逻辑结构之一(source(数据源),transform(数据处理),sink(数据输出)),主要功能就是负责把flink处理后的数据输出到外部系统中。原创 2021-04-11 20:20:26 · 8986 阅读 · 0 评论 -
Flink程序中Tuple类型使用+ 算子程序Lambda方式正确使用姿势
Tuple元组类型使用以及Lambda编写flink程序正确姿势(方法与避坑)原创 2021-04-11 16:52:34 · 13357 阅读 · 0 评论 -
Flink1.12 DataStream(java)常用算子示例
DataStream 算子我们在开发中通常会用到例如:Map、FlatMap、Filter、keyBy、max、min、sum、reduce、Aggregation、WIndow、WindowAll、WindowApply、Join、Connect等等......原创 2021-04-07 22:53:18 · 8400 阅读 · 2 评论 -
Flink程序加载数据源(4)从RabbitMQ中加载数据源
(1)自定义数据源说明与上文一样,要实现自定义和数据源必须实现Flink内置的数据源接口或者集成内置数据源抽象类SourceFunction: 非并行数据源(并行度只能=1)RichSourceFunction: 多功能非并行数据源(并行度只能=1)ParallelSourceFunction: 并行数据源(并行度能够>=1)RichParallelSourceFunction: 多功能并行数据源(并行度能够>=1)(2)RabbitMQ中加载数据源有时候,我们原创 2021-04-07 22:16:10 · 7692 阅读 · 0 评论 -
Flink程序加载数据源(3)自定义数据源(2)从Mysql 加载数据源
文引出了Flink程序自定义数据源的方法,我们来再次回顾下,并自定义数据源类 从Mysql中加载数据源原创 2021-04-05 17:24:05 · 6696 阅读 · 2 评论 -
Flink程序加载数据源(3)自定义数据源(1)
文章目录(1)自定义数据源准备(2)实现自定义数据源功能① 准备环境② 获取数据眼③ 自定义数据源代码示例④ 测试自定义数据源(1)自定义数据源准备 flink 可以将我们常用的各种DB以及MQ中加载数据,官方提供了一些connectors(连接器),引入依赖后并配置后,可快速获取到数据源。 同时,Flink还提供了数据源接口(抽象类),我们实现该接口(实现抽象类)就可以实现自定义数据源,不同的接口有不同的功能,分类如下:SourceFunction: 非并行数据源(并行度只能=1)原创 2021-04-05 16:12:44 · 6924 阅读 · 3 评论 -
Flink程序加载数据源(2)Scoket流
Flink程序加载数据源(2)Scoket流flink可以从scoket流中加载数据源首先,我们需要先获取执行环境(必需),StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();设置处理模式(默认不设置为流(如果加载数据源为有界批,流处理模式会报错)) 、 env.setRuntimeMode(RuntimeExecutionMode.AUTOMATIC);并行度(非必须)等原创 2021-04-01 22:49:39 · 6026 阅读 · 0 评论 -
Flink程序加载数据源(1)集合与文件
Flink程序加载数据源(1)集合与文件从文件中加载数据有哪些注意事项呢?如果加载路径为文件夹会是什么情况呢?原创 2021-04-01 22:20:15 · 6243 阅读 · 0 评论 -
Flink1.12 流批一体Hello-world
环境说明:java: 1.8flink: 1.12.2编译器:IDEA MAVEN项目要开发flink程序,首先,我们需要引入依赖,必要依赖POM.xml文件如下(1)核心依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"原创 2021-03-31 22:57:26 · 6494 阅读 · 0 评论 -
Flink入门之Flink程序开发步骤(java语言)
注:本篇章的flink学习均是基于java开发语言我们如果要使用flink进行计算开发,一个完整的开发步骤是怎样的呢?前情回顾:什么叫有界数据流,什么叫无界数据流(何为流处理,何为批处理)?- Batch Analytics,右边是 Streaming Analytics。批量计算: 统一收集数据->存储到DB->对数据进行批量处理,对数据实时性邀请不高,比如生成离线报表、月汇总,支付宝年度账单(一年结束批处理计算)- Streaming Analytics 流式计算,顾名思义,就是原创 2021-03-31 22:25:17 · 25314 阅读 · 0 评论 -
flink
(1)flink-前言 不可置否,大数据时代已然来临,5G浪潮,智慧城市,智慧生活甚至智慧餐厅…当今时代的数据产生的越来越快、数据量越来越大…人们在某些场景对数据处理的实时性要求越来越高,例如:车辆报警、实时风控、实时推荐系统等等… 传统的批处理方式和早期的流式处理框架因其自身的局限性,难以在延迟性、吞吐量、容错能力,以及使用便捷性等方面满足业务日益苛刻的要求。 在这种形势下,Flink 由于其独特的天然流式计算特性和更为先进的架构设计,极大地改善了以前的流式处理框架所存在的问题,在流式计原创 2021-03-30 23:06:25 · 5824 阅读 · 1 评论 -
flink流批一体相关概念
flink流批一体相关概念(1)数据时效性 日常工作中,我们一般会先把数据存储在表,然后对表的数据进行加工、分析。既然先存储在表中,那就会涉及到时效性概念。如果我们是处理以年,月、周为单位的级别的数据处理,进行统计分析,那么最新数据与当前相差几周 几月或许都没太多影响。 但是如果我们处理的是以天为单位或者一小时甚至更小粒度的数据处理,那么就要求数据的时效性更高了。比如:对车辆的报警、车辆定位计算、网站的监控、等等,这些场景下都需要工作人员根据信息立即作出响应,如果按照以往传统的统一收集数据,再原创 2021-03-07 23:14:34 · 10007 阅读 · 2 评论 -
flink1.12 单机安装
Local本地模式运行流程:Flink程序由JobClient进行提交JobClient将作业提交给JobManagerJobManager负责协调资源分配和作业执行。资源分配完成后,任务将提交给相应的TaskManagerTaskManager启动一个线程以开始执行。TaskManager会向JobManager报告状态更改,如开始执行,正在进行或已完成。作业执行完成后,结果将发送回客户端(JobClient)下载https://mirrors.bfsu.edu.cn/apache/原创 2021-03-07 22:48:53 · 6536 阅读 · 0 评论