- 博客(19)
- 收藏
- 关注
RSS订阅原创 Flink中的双流Join
在本例中，我们使用大小为2毫秒的滑动窗口，并将其滑动1毫秒，从而产生滑动窗口[-1，0]，[0,1]，[1,2]，[2,3]…在这里，您还可以看到，例如，在窗口[2,3]中，橙色②与绿色③连接，但在窗口[1,2]中没有与任何对象连接。在当前滑动窗口中，一个流的元素没有来自另一个流的元素，则不会发射！流B的元素的时间戳 >= 流A的元素时间戳 + 下界,且,流B的元素的时间戳
2024-02-22 14:40:58
1555
1
原创 StringBuilder类中常用方法及应用举例
String类是final类型的，所以使用String定义的字符串是一个常量，因此一旦创建，内容和长度不可改变。如果需要修改，必须要新建一个字符串。StringBuffer类和String类的最大区别在于它的长度和内容都可以进行多次修改。StringBuffer类似一个容器，当在其中添加或删除时，容器不会变化，不会产生新的字符串对象。
2024-02-22 10:52:52
345
1
原创 Maxwell安装部署
第一条type为bootstrap-start和最后一条type为bootstrap-complete的数据，是bootstrap开始和结束的标志，不包含数据，中间的type为bootstrap-insert的数据才包含数据。Maxwell需要在MySQL中存储其运行过程中的所需的一些数据，包括binlog同步的断点位置（Maxwell支持断点续传）等等，故需要在MySQL为Maxwell创建数据库及用户。一次bootstrap输出的所有记录的ts都相同，为bootstrap开始的时间。
2024-02-20 18:24:12
2071
原创 迭代器中遍历元素是用到的next()方法
如果下一地址有元素，则 iterator (即指针)通过调用 next() 方法，将该地址的元素值返回给定义的变量，调用 next() 方法后，指针p会自动移向下一元素的地址；关于 next() 方法的理解主要在于调用 next() 后，容器 iterator (即比喻的那个p指针)发生的变化；next() 方法的内部原理并非是指针，在java中没有没有指针的说法，这里只是为了理解更加方便， 从而用指针做相关的解释。一、先把p指针的下一地址的元素返回；next() 方法解释。
2024-02-19 17:17:54
482
1
原创 Redis简介和数据类型
Redis是完全开源（BSD许可）的内存数据是一个高性能的 key-value 数据库，用作数据库、缓存、消息代理和流式处理引擎。Redis 提供，例如、集、带有范围查询的和。Redis 具有内置复制、和不同级别的，并通过 Redis Sentinel 和的自动分区提供高可用性。Redis使用内存中数据集。
2024-02-01 18:23:18
1113
1
原创 基于scala使用flink将kafka数据写入mysql示例
创建与MySQL连接方法的类。指定kafka数据 并显示。设置flink流处理环境。从kafka源创建数据流。
2024-01-27 15:30:56
1042
3
原创 Flink中定时器的使用
我们在其processElement()方法中注册Timer，然后覆写其onTimer()方法作为Timer触发时的回调逻辑。基于处理时间或者事件时间处理过一个元素之后，注册一个定时器，然后在指定的时间运行。监控水位传感器的水位值，如果水位值在（处理时间）5秒内连续上上，则报警。当水位线大于等于定时器注册的时间时，触发定时器执行回调函数。processing time的定时器。对处理时间和事件时间的变化作出反应。让 Flink 流处理程序。1.基于处理时间的定时器。2.基于事件时间的定时器。
2024-01-25 20:16:47
927
原创 Flink富函数（Rich Functions）
是 DataStream API 提供的一个函数类的接口，所有 Flink 函数类都有其 Rich 版本。它与常规函数的不同在于，，并拥有一些生命周期方法，所以可以实现更复杂的功能。2.匿名函数（Lambda Functions）1.函数类(Function Classes)还有一个生命周期的概念。3.富函数（Rich Functions）实现 FilterFunction 接口。还可以将字符串当作参数传进去。还可以将函数实现成匿名类。可以获取运行环境的上下文。
2024-01-24 20:33:59
571
1
原创 Flink源算子、转换算子和输出算子（DataSet）
但是，压缩文件可能不会并行读取，可能是顺序读取的，这样可能会影响作业的可伸缩性。Flink是一种一站式处理的框架，既可以进行批处理（DataSet），也可以进行流处理（DataStream）rightOuterJoin：右外连接,左边的Dataset中的每一个元素，去连接左边的元素。交叉操作，通过形成这个数据集和其他数据集的笛卡尔积，创建一个新的数据集。对一个文件目录内的所有文件，包括所有子目录中的所有文件的遍历访问方式。左外连接,左边的Dataset中的每一个元素，去连接右边的元素。
2024-01-23 15:32:10
1434
1
原创 采集样例1
kafkaStream 中的每行数据拆分为一个数组，并从中提取第1和第10个元素，然后创建一个新的整数对，并将该对作为新的数据流 dateStream 的元素。（5）如果消费者在主题中没有找到初始偏移量，它将自动从主题的最早消息开始消费。（2）序列化消息键的类，意味着消息键将被序列化为字符串格式。从名为 "ProduceRecord" 的 Kafka 主题中读取字符串数据。定义一个Flink流处理环境，设置并行度为1，处理时间进行计算。（3）反序列化消息键的类。（4）反序列化消息值的。
2024-01-23 10:25:57
841
2
原创 Flink处理函数（ProcessFunction、KeyedProcessFunction、ProcessWindowFunction、 ProcessAllWindowFunction）
/定义一小时窗口@Overridecount++;
2024-01-23 09:07:05
1354
1
原创 DENIED Redis is running in protected mode because protected mode is enabled, no bind address was ...
将文件位置切换为redis文件夹下的src中。进入redis数据库。
2024-01-22 14:28:06
1547
1
原创 Flink容错机制
flink是流处理，数据是在不停的进入并计算，如果出现故障，那么之前所做的计算将销毁。利用检查点可以将之前的数据和计算结果进行保存。
2024-01-20 18:45:52
888
原创 Flink窗口API、窗口分配器和窗口函数
需要先对DataStream调用.keyBy()进行按键分区，然后再调用.window()定义窗口。
2024-01-19 14:51:49
1515
原创 Flink源算子示例
尖括号前面的数字是因为此代码未设置并行度 ，所以默认为12个并行度，他的运算随机分配到这十二个中，若再次运行，前面的数字还会不相同。或者将改为则可不用添加数组，直接写就可执行。
2024-01-18 19:20:45
1007
原创 使用批处理执行WordCount
Flink有无界流(DataStream)与有界流(DataSet)，这两者是flink中主要的数据源，DataStream常用于流处理，DataSet用于批处理。将words.txt文件读取出来并放到inputDataSet中，并返回一个文本文件的数据集，其中每一行都是一个记录，并且每行都是一个字符串。flatMap:多用于处理数据流或数据集，将接受的数据转换成为多个输出元素，也就是将数组等拆开，以便后续计算。将数据一个个分出来，再分组，并进行累加。在文件中新建一个words.txt文件夹，并编辑。
2024-01-18 09:42:46
387
原创 Flink知识点概述
stream.keyBy() .window() .aggregate() 会话窗口，超过五秒没数据，自动生成新的窗口
2024-01-17 18:34:44
1969
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人