![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 68
任错错
学无止境
展开
-
FlinkCDC-MysqlCDC-sql
【代码】FlinkCDC-MysqlCDC-sql。原创 2022-10-22 11:17:11 · 441 阅读 · 0 评论 -
阿里云实时计算平台Flink报错汇总
一、报错问题1.2022.04.14记录全托管实时计算平台所有cdc模式都不支持窗口,如果加上cdc模式会报错:org.apache.flink.table.api.TableException: StreamPhysicalWindowAggregate doesn't support consuming update and delete changes which is produced by node TableSourceScan(table=[[vvp, dwd, holo_d原创 2022-04-22 15:37:07 · 3951 阅读 · 0 评论 -
Flink反压监控与原理
在 Flink V1.5 版之前,其实 Flink 并没有刻意做上述所说的动态反馈。那么问题来了,没有做上述的动态反馈机制,Flink 难道不怕数据丢失或者上游和下游的一些 Buffer 把内存撑爆吗?当然不怕了,因为 Flink 已经依赖其他机制来实现了所谓的动态反馈。其实很简单,让我们继续往下看。跨 Task,动态反馈如何从下游 Task 的 Receive Buffer 反馈给上游 Task 的 Send Buffer。原创 2021-12-29 16:43:25 · 907 阅读 · 0 评论 -
JavaFlink开发的一些基本配置
默认情况下,检查点被禁用。要启用检查点,请在StreamExecutionEnvironment上调用enableCheckpointing(n)方法,其中n是以毫秒为单位的检查点间隔。检查点的其他参数包括: exactly-once vs. at-least-once:你可以从这两种模式中选择一种模式传递给enableCheckpointing(n)方法。Exactly-once对于大多数应用来说是最合适的。At-least-once可能用在某些延迟超低的应用程序(始终延迟为几毫秒)。原创 2021-10-20 15:46:50 · 711 阅读 · 0 评论 -
阿里云实时数仓搭建与组件选型
一、实时数仓分层规范1.1 分层需求分析建设实时数仓的目的,主要是增加数据计算的复用性。每次新增加统计需求时,不至于从原始数据进行计算,而是从半成品继续加工而成。我们这里从 loghub、kafka 的 ods 层读取用户行为日志以及业务数据,并进行简单处理,写回到 kafka、hologres作为 dwd 层。1.2每层的职能 分层 数据描述 生成计算工具 存储媒介 ODS .原创 2021-10-09 17:41:03 · 1171 阅读 · 3 评论 -
Flink搭建实时数仓一些问题并解决
1.org.apache.phoenix.exception.PhoenixIOException: org.apache.hadoop.hbase.regionserver.NoSuchColumnFamilyException:具体报错org.apache.phoenix.exception.PhoenixIOException: org.apache.hadoop.hbase.regionserver.NoSuchColumnFamilyException: Column family ta原创 2021-09-03 16:22:25 · 734 阅读 · 0 评论 -
JavaFlink原理、实战、源码分析(六)源码部分
源码部分原创 2021-05-31 17:46:22 · 363 阅读 · 0 评论 -
JavaFlink原理、实战、源码分析(五)实战部分
实战部分二原创 2021-05-26 15:14:47 · 138 阅读 · 0 评论 -
JavaFlink原理、实战、源码分析(四)实战部分
实战部分原创 2021-04-27 14:15:16 · 107 阅读 · 0 评论 -
JavaFlink原理、实战、源码分析(三)原理部分
JavaFlink原理、实战、源码分析(一)https://blog.csdn.net/qq_36250202/article/details/112978869JavaFlink原理、实战、源码分析(二)https://blog.csdn.net/qq_36250202/article/details/115668572第八章 ProcessFunction API(底层 API) ...原创 2021-04-15 17:47:30 · 428 阅读 · 0 评论 -
JavaFlink原理、实战、源码分析(二)原理部分
JavaFlink原理、实战源码分析(一)https://blog.csdn.net/qq_36250202/article/details/112978869第六章 Flink 中的 Window主要内容• window 概念• window 类型• window API6.1 Window6.1.1 Window 概述 streaming 流式计算是一种被设计用于处理无限数据集的数据处理引擎,而无限数据集是指一种不断增长的本质上无限的数据集,而 window 是一种切割.原创 2021-04-13 15:13:25 · 1005 阅读 · 0 评论 -
JavaFlink原理、实战、源码分析(一)原理部分
第一章 Flink 简介 Flink 项目的理念是:“Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架”。Apache Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行,以内存执行速度和任意规模来执行计算。1.2 Flink 的重要特点 事件驱动型应用是一类具有状态的应用,它从一个或多个事件流提取数据,并根据到来的事件触发计算、状态更新或其他外部动作。...原创 2021-01-22 10:51:09 · 1153 阅读 · 2 评论 -
Flink时间语义与Watermark
一、Flink时间语义在 Flink 的流式处理中,会涉及到时间的不同概念,如下图所示: Event Time:是事件创建的时间。它通常由事件中的时间戳描述,例如采集的日志数据 中,每一条日志都会记录自己的生成时间,Flink 通过时间戳分配器访问事 件时间戳。 Ingestion Time:是数据进入 Flink 的时间。 Processing Time:是每一个执行基于时间操作的...原创 2020-10-22 11:15:33 · 259 阅读 · 0 评论