40926__-CSDN博客

原创 Flink学习13-Flink CDC

cdc全称 Change Data Capture 变更数据捕获。通俗来讲只要能捕获到变更的数据的技术都可以称为cdc。常见的开源技术有以下几种：以下是几种技术的横向对比。

2024-01-03 16:52:22 1330 1

默认分为三种：UDF:也叫标量函数，输入一行返回一行UDAF:也叫表值函数，输入一行返回多行UDTF:比较特殊，官方分为聚合函数和表聚合函数两种。前一种实现输入多行返回一行，后一种输入多行返回一张表。接下来通过三个案例来实现自定义函数三种自定义函数实现方式官网有对应模版，这里不在强调对应写法。但在编写自定义函数时有几点注意事项：1、数据类型推导Flink 自定义函数实现了自动的类型推导提取，通过反射从函数的类及其求值方法中派生数据类型。

2023-09-20 14:24:45 145 1

原创 Flink学习12-FlinkTab&SQL（一）

以上是Flink官方提供了四层不同级别的抽象来开发应用程序。Table Api实际上对底层算子的封装，而SQL则是最顶层的抽象。在生产开发中用到最多的也是SQL开发。接下来通过一个简单案例来了解Table API 和SQL的使用方式。

2023-09-19 16:47:40 138

原创 Flink学习11-flink实现端到端精准一次消费(EOS)原理

当流速快的Barrier到达下游算子的input buffer后，此时会把这个Barrier插队到此下游算子的output buffer最前面，然后把这个Barrier发送给之后的算子，同时对自身进行快照，此时进行快照时，会把流速快的那条流中相同Barrier后的数据也进行计算一部分，然后把计算完的状态保存到状态后端，之后进行状态恢复时，会把Barrier之后的数据进行重复，②当作业出现反压时，会加剧作业的反压(当出现反压时，数据本身就处理不过来，此时某条流的数据又阻塞了所以就会加剧反压。

2023-09-15 14:49:24 291 1

原创 clickhouse入门2-数据类型

这里需要注意的是：时间戳的书写，默认datetime类型时间戳是10位，但我指定test_date表中co4字段精度为3,则需要再在1692583808时间戳后面加三个0,co5也是如此。这里需要注意的是，decimal在进行四则运算的时候小数位数取最高的一个数字，乘法运算除外。而精度都是取最高精度的一个数字。这里需要注意float32和float64分别对应小数点后8位和16位有效数字，溢出来的精度会被四舍五入。另外小数位数超过当前限制，会导致精度溢出，这里溢出不会四舍五入，会直接丢弃掉。

2023-08-23 15:00:50 133

原创 Flink学习10-状态管理

众所周知，flink的一个特性是有状态计算，像经常使用的聚合算子sum就是一个有状态计算。flink是来一条数据处理一条数据，如果没有状态管理中间结果，那么每次只会给我们返回当前这条数据结果而不是累加的，这显然不符合我们预期。

2023-08-11 16:34:15 66 1

原创 Flink学习9-WaterMark

这个时候再输入(2999,a,1)，(4999,a,1)，但由于前面配置了allowedLateness等于3秒，所以第一个窗口会在2+6+3=11秒后关闭，再输入(11000,a,1)触发触发第一个窗口计算，会在累加(2999,a,1)，(4999,a,1)求和的结果，即(a，6)。计算完毕并关闭窗口。这是会计算(1000,a,1)，(3000,a,1)，(2000,a,1)，(5999,a,1)的求和结果，即(a，4)。这里我第一条数据输入(1000,a,1)，那么第一个窗口会计算[0,6000)。

2023-08-01 11:11:26 70 1

原创 Flink学习8-时间语义及Window

具体可以划分为：滚动窗口（tumbling window）、滑动窗口（sliding window）、会话窗口（session window）、全局窗口（global window）及自定义窗口。1、按照是否为keyed stream来划分，keyed stream用window()方法，no-keyed stream用windowAll()方法。滚动窗口需要指定一个窗口大小window size，window size可以按照时间来指定（EventTime&ProcTime）,也可以按照元素数量来指定。

2023-07-19 15:42:31 75 1

原创 Flink学习7-自定义sink实现

自定义sink

2022-12-09 15:52:29 967

原创记录一次mac电脑安装git并在idea中使用的问题

git安装及简单实用

2022-11-30 14:43:32 4772

原创 Flink学习6-自定义分区器介绍

自定义分区器介绍

2022-11-17 14:40:57 1662

原创 Flink学习5-DateStream API简介二

transformation算子简介

2022-11-15 14:16:01 587

原创 Flink学习3-DataStream API简介

DataStream概述

2022-07-06 16:08:03 460

原创 Flink学习2-Flink架构

Flink架构图根据官网架构图所示，Flink集群在启动的时候会启动一个JobManager和多个TaskManager。用户的flink程序通过client提交给JobManager，JobManager会把不同用户提交过来的程序分发给不同的TaskManager去执行。而taskmaager里管理者多个task，真正的计算是在task中进行的。TaskManager 会将心跳和统计信息汇报给 JobManager。TaskManager 之间以流的形式进行数据的传输。要注意的是，TaskManag

2022-06-22 15:46:50 167

原创 Flink学习1-Flink基础概念

什么是Flink?这里我们需要了解一个概念“流处理”。在自然环境中，数据的产生原本就是流式的。无论是来自 Web 服务器的事件数据，证券交易所的交易数据，还是来自工厂车间机器上的传感器数据，其数据都是流式的。但是当你分析数据时，可以围绕有界流（bounded）或无界流（unbounded）两种模型来组织处理数据，当然，选择不同的模型，程序的执行和处理方式也都会不同。有界流可以用“批处理”程序来处理，在计算结果输出之前输入整个数据集来进行排序、汇总统计，然后再输出结果。无界流就用“流处理”程序来处理

2022-05-11 15:55:51 475

qq_40342691的博客