flink
文章平均质量分 62
sanhongbo
这个作者很懒,什么都没留下…
展开
-
Hologres使用说明
1.holo代替kafka作为实时计算的数据传输介质2.holo部分字段更新功能使用原创 2023-02-15 10:37:01 · 546 阅读 · 1 评论 -
大数据组件官方网站
大数据组件官方地址原创 2022-11-04 11:27:06 · 500 阅读 · 0 评论 -
flink 调优指南
本文主要介绍一些flink内存模型、参数配置、性能监控相关知识,直接先上一个思维导图。Flink 性能调优的第一步,就是为任务分配合适的资源,在一定范围内,增加资源的分配与性能的提升是成正比的,实现了最优的资源配置后,在此基础上再考虑进行后面论述的性能调优策略。资源配置调优内存模型详解JVM 特定内存JVM 本身使用的内存,包含 JVM 的 metaspace 和 over-head1)JVM metaspace:JVM 元空间taskmanager.memory.jvm-metaspac原创 2022-04-17 16:23:21 · 3439 阅读 · 4 评论 -
flink+kafka 实现wordcount
以下内容基于flink1.12pom依赖 <properties> <encoding>UTF-8</encoding> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> &原创 2022-03-18 14:40:11 · 2930 阅读 · 0 评论 -
flink 相关资料
相关链接ververica中文网站:https://ververica.cn/Apache Flink 视频教程:https://github.com/flink-china/flink-training-courseFlink Forward Asia 2019:https://ververica.cn/developers/flink-forward-asia-2019/Flink Forward China 2018:https://github.com/flink-china/fli原创 2022-03-17 17:23:29 · 2187 阅读 · 0 评论 -
Flink之state processor api读取checkpoint文件
什么是State ProcessorAPI官方文档说明:https://nightlies.apache.org/flink/flink-docs-release-1.12/zh/dev/libs/state_processor_api.html目的使用 State Processor API 可以 读取、写入和修改 savepoints 和 checkpoints ,也可以转为SQL查询来分析和处理状态数据。定位作业中的问题。使用方式介绍引入pom <!--读checkpoint--原创 2022-01-10 18:54:21 · 1598 阅读 · 0 评论 -
flink窗口详细说明
时间语义Event Time : 事件创建的时间 (一般为kafka中消息中的时间字段,为事件消息的创建事件)Ingestion Time:数据进入Flink的时间 (如source读取到kafka流时的时间)Processing Time:执行操作算子的本地系统时间,与机器有关(算子执行当前时间时的时间)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mvk5ksLi-1640934899882)(f461d93e248f0c51291055debd50ad00.原创 2021-12-31 15:15:38 · 2118 阅读 · 0 评论 -
flink 架构、概念介绍
flink结合实时告警分享flink是什么批处理 是有界数据流处理的范例。在这种模式下,可以选择在计算结果输出之前输入整个数据集,这也就意味着你可以对整个数据集的数据进行排序、统计或汇总计算后再输出结果。流处理 正相反,其涉及无界数据流。至少理论上来说,它的数据输入永远不会结束,因此程序必须持续不断地对到达的数据进行处理。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LnYlQ9Z7-1640774068983)(20200914090758635.png)]原创 2021-12-29 18:34:46 · 1349 阅读 · 0 评论