Flink
文章平均质量分 86
Flink实时计算Java版
小基基o_O
GitHub:https://github.com/AryeYellow
码云:https://gitee.com/arye
展开
-
大数据(9j)FlinkCDC
CDC概述Flink-CDCflink-connector-mysql-cdcFlink-CDC代码测试开启MySQL8 BinlogFlinkSQL原创 2022-12-02 23:45:25 · 1311 阅读 · 0 评论 -
大数据(9h)FlinkSQL之Lookup Join
ttlFOR SYSTEM_TIME AS OFProcessing Time Temporal Joinlookup joinlookup cacheFlink查询缓存lookup.cache.max-rowslookup.cache.ttl原创 2022-11-29 16:29:12 · 7607 阅读 · 1 评论 -
大数据(9h)FlinkSQL双流JOIN
Lookup JoinTemporal Joins基于处理时间JOIN设置状态保留时间基于事件时间JOINInterval Joins(基于间隔JOIN)Temporal Join原创 2022-11-29 16:32:03 · 1952 阅读 · 0 评论 -
大数据(9h)FlinkSQL连MySQL、Kafka
flink-connector-jdbcflink-connector-kafka原创 2022-12-06 15:35:22 · 667 阅读 · 0 评论 -
大数据(9h)FlinkSQL
Flink有两种关系型API来做流批统一处理:Table API和SQL动态表(Dynamic Tables)是Flink支持流数据的Table API和SQL的核心概念动态表是随时间变化的查询动态表将生成一个连续查询动态表连续查询额外依赖原创 2022-10-03 14:24:57 · 1066 阅读 · 0 评论 -
大数据(9g)FlinkCEP
CEPComplex Event Processing:复杂事件处理flink-cepflink原创 2022-12-03 23:23:02 · 632 阅读 · 0 评论 -
大数据(9f)Flink双流JOIN
使用状态列表实现 INNER JOIN(双流connect后CoProcessFunction)基于间隔的JOIN(Interval Join)基于窗口的JOIN(Window Join)原创 2022-11-27 09:20:20 · 696 阅读 · 0 评论 -
大数据(9f)Flink窗口函数练习:计算PV和UV
PVPage View,页面浏览量UVUnique Visitor,独立访客数(本文按设备ID去重)原创 2022-12-05 14:30:42 · 352 阅读 · 0 评论 -
大数据(9f)Flink状态编程
Managed StateOperator StateListStateBroadcastStateKeyed StateValueStateListStateMapStateReducingStateAggregatingState状态后端原创 2022-11-24 00:07:00 · 526 阅读 · 0 评论 -
大数据(9f)Flink富函数RichFunction
生命周期运行时上下文RichFunctionRuntimeContextFlink1.14.6原创 2022-11-22 16:30:54 · 1473 阅读 · 0 评论 -
Flink打印当前Watermark
WatermarkStrategyforMonotonousTimestampstimerServicecurrentWatermarkforBoundedOutOfOrderness水位线水位线策略MonotonousWatermark原创 2022-11-28 12:49:36 · 498 阅读 · 0 评论 -
大数据(9e)Flink定时器
registerProcessingTimeTimerregisterEventTimeTimer基于处理时间的定时器基于事件时间的定时器原创 2022-11-28 14:05:10 · 526 阅读 · 0 评论 -
大数据(9e)Flink侧输出流
sideOutputLateDataside output窗口允许迟到的数据,但仍有数据在关窗后到达Flink提供了侧输出流(sideOutput)来处理关窗之后到达的数据sideOutputLateDataOutputTagsideOutput原创 2022-11-30 17:33:28 · 2119 阅读 · 0 评论 -
大数据(9e)Flink时间语义WaterMark
Window Function窗口函数水位线WaterMark乱序流forMonotonousTimestampsforBoundedOutOfOrderness原创 2021-12-12 17:24:49 · 1380 阅读 · 0 评论 -
大数据(9e)图解Flink窗口
Non-Keyed的窗口的流的并行度=1本地开发环境:WIN10+IDEA代码模板pom.xmllog4j.propertiesJava模板按键分区(Keyed)、非按键分区(Non-Keyed)KeyedNon-Keyed窗口的分类基于时间的窗口基于事件个数的窗口窗口函数示例代码ReduceFunctionAggregateFunctionProcessWindowFunct原创 2022-11-21 00:35:50 · 371 阅读 · 0 评论 -
图解数据计算中的窗口概念
窗口概念:将 无界限的 数据 切分为 有界限的 数据典型示例:统计每分钟的流量,这就是个基于时间的滚动窗口基于时间的窗口,时间驱动:滚动窗口、滑动窗口、会话窗口基于事件个数的窗口,事件驱动:滚动窗口、滑动窗口原创 2021-11-12 16:04:03 · 1571 阅读 · 0 评论 -
大数据(9d)Flink流处理核心编程练习:计算PV和UV
本地开发环境(WIN10+IDEA)Flink之Transform练习模板计算PV:每个页面的浏览量UV:每个页面的访客数(按设备ID去重)Page ViewUnique Visitor原创 2022-11-19 19:32:06 · 315 阅读 · 2 评论 -
大数据(9d)Flink转换算子Transform
TransformmapflatMapfilterunionconnectprocesskeyByreducesum、max、minKeyedProcessFunctionProcessFunctionKeyedStream原创 2022-11-23 12:57:31 · 410 阅读 · 0 评论 -
大数据(9d)Flink流处理核心编程
文章目录EnvironmentSource一些准备从Java的集合中读取数据从Kafka自定义数据源TransformSinkEnvironment#mermaid-svg-9JQsAYiMf3Ogn1iH .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-9JQsAYiMf3Ogn1iH .label te原创 2021-11-10 11:39:53 · 1167 阅读 · 0 评论 -
大数据(9c)Flink运行架构
文章目录〇运行架构图1、Client(客户端)2、JobManager(作业管理器)2.1、ResourceManager(资源管理器)2.2、Dispatcher(调度器)2.3、JobMaster(作业主控器)3、TaskManager3.1、Slot(插槽)3.2、Task、SubTask、Operator3.3、图3.3.1、StreamGraph(逻辑流图)3.3.2、ExecutionGraph(执行图)Appendix〇运行架构图1、Client(客户端)客户端 用于 准备和发送da原创 2021-11-04 14:54:14 · 2056 阅读 · 0 评论 -
大数据(9b)Flink集群部署YARN模式
文章目录原创 2021-07-14 17:33:43 · 423 阅读 · 1 评论 -
大数据(9a)Flink入门Java代码Windows和Linux上运行
Flink简介1.1、Flink特点1.1.1、事件驱动(event-driven)1.1.2、无界数据流 和 有界数据流1.1.3、分层API2、Windows环境上跑Flink2.1、创建Maven工厂,导入依赖2.2、代码示例:词频统计2.2.1、自定义数据处理函数2.2.2、DataSet版2.2.3、DataStream版2.2.3.1、读本地文件2.2.3.2、读取网络数据Apache Flink是为分布式、高性能、随时可用以及准确的流处原创 2021-07-13 17:27:59 · 626 阅读 · 2 评论