阿萨红参
码龄2年
关注
提问 私信
  • 博客:24,417
    24,417
    总访问量
  • 19
    原创
  • 1,760,077
    排名
  • 275
    粉丝
  • 0
    铁粉
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:河北省
  • 加入CSDN时间: 2022-11-16
博客简介:

roi666的博客

查看详细资料
  • 原力等级
    当前等级
    3
    当前总分
    243
    当月
    2
个人成就
  • 获得370次点赞
  • 内容获得16次评论
  • 获得289次收藏
  • 代码片获得654次分享
创作历程
  • 19篇
    2024年
成就勋章
创作活动更多

超级创作者激励计划

万元现金补贴,高额收益分成,专属VIP内容创作者流量扶持,等你加入!

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

Flink中的双流Join

在本例中,我们使用大小为2毫秒的滑动窗口,并将其滑动1毫秒,从而产生滑动窗口[-1,0],[0,1],[1,2],[2,3]…在这里,您还可以看到,例如,在窗口[2,3]中,橙色②与绿色③连接,但在窗口[1,2]中没有与任何对象连接。在当前滑动窗口中,一个流的元素没有来自另一个流的元素,则不会发射!流B的元素的时间戳 >= 流A的元素时间戳 + 下界,且,流B的元素的时间戳
原创
发布博客 2024.02.22 ·
1905 阅读 ·
16 点赞 ·
1 评论 ·
16 收藏

StringBuilder类中常用方法及应用举例

String类是final类型的,所以使用String定义的字符串是一个常量,因此一旦创建,内容和长度不可改变。如果需要修改,必须要新建一个字符串。StringBuffer类和String类的最大区别在于它的长度和内容都可以进行多次修改。StringBuffer类似一个容器,当在其中添加或删除时,容器不会变化,不会产生新的字符串对象。
原创
发布博客 2024.02.22 ·
391 阅读 ·
7 点赞 ·
1 评论 ·
5 收藏

Maxwell安装部署

第一条type为bootstrap-start和最后一条type为bootstrap-complete的数据,是bootstrap开始和结束的标志,不包含数据,中间的type为bootstrap-insert的数据才包含数据。Maxwell需要在MySQL中存储其运行过程中的所需的一些数据,包括binlog同步的断点位置(Maxwell支持断点续传)等等,故需要在MySQL为Maxwell创建数据库及用户。一次bootstrap输出的所有记录的ts都相同,为bootstrap开始的时间。
原创
发布博客 2024.02.20 ·
2489 阅读 ·
22 点赞 ·
0 评论 ·
29 收藏

迭代器中遍历元素是用到的next()方法

如果下一地址有元素,则 iterator (即指针)通过调用 next() 方法,将该地址的元素值返回给定义的变量,调用 next() 方法后,指针p会自动移向下一元素的地址;关于 next() 方法的理解主要在于调用 next() 后,容器 iterator (即比喻的那个p指针)发生的变化;next() 方法的内部原理并非是指针,在java中没有没有指针的说法,这里只是为了理解更加方便, 从而用指针做相关的解释。一、先把p指针的下一地址的元素返回;next() 方法解释。
原创
发布博客 2024.02.19 ·
549 阅读 ·
10 点赞 ·
1 评论 ·
5 收藏

Redis简介和数据类型

Redis是完全开源(BSD许可)的内存数据是一个高性能的 key-value 数据库,用作数据库、缓存、消息代理和流式处理引擎。Redis 提供,例如、集、带有范围查询的和。Redis 具有内置复制、和不同级别的,并通过 Redis Sentinel 和的自动分区提供高可用性。Redis使用内存中数据集。
原创
发布博客 2024.02.01 ·
1134 阅读 ·
16 点赞 ·
1 评论 ·
18 收藏

HBase表结构

HBase是非关系型数据库,是高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。
原创
发布博客 2024.01.29 ·
1590 阅读 ·
19 点赞 ·
1 评论 ·
8 收藏

基于scala使用flink将kafka数据写入mysql示例

创建与MySQL连接方法的类。指定kafka数据 并显示。设置flink流处理环境。从kafka源创建数据流。
原创
发布博客 2024.01.27 ·
1144 阅读 ·
25 点赞 ·
3 评论 ·
2 收藏

Flink数据实时写入HBase

【代码】Flink数据实时写入HBase。
原创
发布博客 2024.01.26 ·
800 阅读 ·
2 点赞 ·
1 评论 ·
0 收藏

Flink中定时器的使用

我们在其processElement()方法中注册Timer,然后覆写其onTimer()方法作为Timer触发时的回调逻辑。基于处理时间或者事件时间处理过一个元素之后,注册一个定时器,然后在指定的时间运行。监控水位传感器的水位值,如果水位值在(处理时间)5秒内连续上上,则报警。当水位线大于等于定时器注册的时间时,触发定时器执行回调函数。processing time的定时器。对处理时间和事件时间的变化作出反应。让 Flink 流处理程序。1.基于处理时间的定时器。2.基于事件时间的定时器。
原创
发布博客 2024.01.25 ·
1448 阅读 ·
5 点赞 ·
0 评论 ·
11 收藏

Flink富函数(Rich Functions)

是 DataStream API 提供的一个函数类的接口,所有 Flink 函数类都有其 Rich 版本。它与常规函数的不同在于,,并拥有一些生命周期方法,所以可以实现更复杂的功能。2.匿名函数(Lambda Functions)1.函数类(Function Classes)还有一个生命周期的概念。3.富函数(Rich Functions)实现 FilterFunction 接口。还可以将字符串当作参数传进去。还可以将函数实现成匿名类。可以获取运行环境的上下文。
原创
发布博客 2024.01.24 ·
701 阅读 ·
14 点赞 ·
1 评论 ·
5 收藏

Flink源算子、转换算子和输出算子(DataSet)

但是,压缩文件可能不会并行读取,可能是顺序读取的,这样可能会影响作业的可伸缩性。Flink是一种一站式处理的框架,既可以进行批处理(DataSet),也可以进行流处理(DataStream)rightOuterJoin:右外连接,左边的Dataset中的每一个元素,去连接左边的元素。交叉操作,通过形成这个数据集和其他数据集的笛卡尔积,创建一个新的数据集。对一个文件目录内的所有文件,包括所有子目录中的所有文件的遍历访问方式。左外连接,左边的Dataset中的每一个元素,去连接右边的元素。
原创
发布博客 2024.01.23 ·
1554 阅读 ·
16 点赞 ·
1 评论 ·
18 收藏

采集样例1

kafkaStream 中的每行数据拆分为一个数组,并从中提取第1和第10个元素,然后创建一个新的整数对,并将该对作为新的数据流 dateStream 的元素。(5)如果消费者在主题中没有找到初始偏移量,它将自动从主题的最早消息开始消费。(2)序列化消息键的类,意味着消息键将被序列化为字符串格式。从名为 "ProduceRecord" 的 Kafka 主题中读取字符串数据。定义一个Flink流处理环境,设置并行度为1,处理时间进行计算。(3)反序列化消息键的类。(4)反序列化消息值的。
原创
发布博客 2024.01.23 ·
874 阅读 ·
19 点赞 ·
2 评论 ·
21 收藏

Flink处理函数(ProcessFunction、KeyedProcessFunction、ProcessWindowFunction、 ProcessAllWindowFunction)

/定义一小时窗口@Overridecount++;
原创
发布博客 2024.01.23 ·
1608 阅读 ·
29 点赞 ·
1 评论 ·
17 收藏

DENIED Redis is running in protected mode because protected mode is enabled, no bind address was ...

将文件位置切换为redis文件夹下的src中。进入redis数据库。
原创
发布博客 2024.01.22 ·
2080 阅读 ·
18 点赞 ·
1 评论 ·
28 收藏

Flink容错机制

flink是流处理,数据是在不停的进入并计算,如果出现故障,那么之前所做的计算将销毁。利用检查点可以将之前的数据和计算结果进行保存。
原创
发布博客 2024.01.20 ·
928 阅读 ·
23 点赞 ·
0 评论 ·
15 收藏

Flink窗口API、窗口分配器和窗口函数

需要先对DataStream调用.keyBy()进行按键分区,然后再调用.window()定义窗口。
原创
发布博客 2024.01.19 ·
1645 阅读 ·
51 点赞 ·
0 评论 ·
25 收藏

Flink源算子示例

尖括号前面的数字是因为此代码未设置并行度 ,所以默认为12个并行度,他的运算随机分配到这十二个中,若再次运行,前面的数字还会不相同。或者将改为则可不用添加数组,直接写就可执行。
原创
发布博客 2024.01.18 ·
1057 阅读 ·
25 点赞 ·
0 评论 ·
23 收藏

使用批处理执行WordCount

Flink有无界流(DataStream)与有界流(DataSet),这两者是flink中主要的数据源,DataStream常用于流处理,DataSet用于批处理。将words.txt文件读取出来并放到inputDataSet中,并返回一个文本文件的数据集,其中每一行都是一个记录,并且每行都是一个字符串。flatMap:多用于处理数据流或数据集,将接受的数据转换成为多个输出元素,也就是将数组等拆开,以便后续计算。将数据一个个分出来,再分组,并进行累加。在文件中新建一个words.txt文件夹,并编辑。
原创
发布博客 2024.01.18 ·
440 阅读 ·
6 点赞 ·
0 评论 ·
7 收藏

Flink知识点概述

stream.keyBy() .window() .aggregate() 会话窗口,超过五秒没数据,自动生成新的窗口
原创
发布博客 2024.01.17 ·
2008 阅读 ·
47 点赞 ·
1 评论 ·
36 收藏
加载更多