![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 51
flink的相关操作
黄土高坡上的独孤前辈
010101010101010101010101010101
展开
-
大数据之Flink优化
以计算每个 mid 出现的次数为例,keyby 之前,使用 flatMap 实现 LocalKeyby 功能//Checkpoint 时为了保证 Exactly Once,将 buffer 中的数据保存到该 ListState 中//本地 buffer,存放 local 端缓存的 mid 的 count 信息//缓存的数据量大小,即:缓存多少数据再向下游发送 private int batchSize;原创 2024-02-24 21:46:40 · 1417 阅读 · 2 评论 -
Flink基础知识
Flink基础知识原创 2023-02-26 15:09:46 · 405 阅读 · 0 评论 -
Flink流批一体
flink的流批一体原创 2023-02-05 17:38:56 · 160 阅读 · 0 评论 -
Flink的WaterMarker理解
Flink的Water Marker的理解原创 2023-01-13 00:03:34 · 215 阅读 · 0 评论 -
Flink回撤流
参考《[Flink-源码分析]Blink SQL 回撤解密》原创 2022-05-15 23:24:23 · 1381 阅读 · 0 评论 -
Flink内存结构
blink memory分三种,heap memory一般跟计算复杂度有关;naive memory跟访问state有关,对于访问state的节点,一般将naive memory调大一些。 heap memory :堆内存,主要存储java对象,(存在udf,或者处理上有一些缓存对象的场景一般考虑加大这个) native memory: 主要用于JNI调用,由于st原创 2021-06-29 18:12:49 · 219 阅读 · 0 评论 -
Flink双流及多流Join 、IntervalJoin、coGroupJoin的区别与生产使用
文章目录1.Flink 三种Join的代码测试1.1 数据源1.2 join1.3 intervalJoin1.3.1 intervalJoin API用法1.3.2 intervalJoin SQL用法1.4 coGroup2. intervalJoin源码解析3.三种Join的区别及使用场景1.Flink 三种Join的代码测试1.1 数据源(1)左流订单表(orders)id productName orderTime1 iphone原创 2021-04-04 12:16:38 · 3582 阅读 · 2 评论 -
Flink的State编程简介
文章目录1.介绍1.1 简介1.2 案例2.带状态的编程2.1 官网解释2.2 为什么要引入状态? State => checkpoint3.状态的分类3.1 官网解释3.2 两种基本类型的State1.介绍1.1 简介Stateful Computations over Data Streams,Flink是一种有状态的流式处理引擎!!!spark中upDateStateByKey/MapWithStateByKey(才会有状态) ,也可以结合redis/Mysql进行有状态的计算,原创 2020-12-12 22:22:26 · 250 阅读 · 0 评论 -
Java与Scala的集合相互转换
文章目录1.java与scala的集合相互转换2.应用1.java与scala的集合相互转换 /** * Java与scala集合相互转换 */ def test(): Unit ={ import scala.collection.JavaConverters._ //将当前集合转换为Java中的List val javaC: util.List[Int] = List(1, 2, 3, 4).asJava //Java中集合转换为Scala中原创 2020-12-10 18:28:11 · 304 阅读 · 1 评论 -
Flink的Task与SubTask理解
文章目录官网参考1.任务2.通过flinkUI可以看到 有几个框就是几个Task3.程序模型4.流的分类5.Operator Chains6.Task Slot (TM = JVM)7.获取整个算子的执行计划8.flink通过webUI的Jar包传到哪里去了 java.io.tmpdir=/tmp官网参考 # https://ci.apache.org/projects/flink/flink-docs-release- 1.11/concepts/flink-architecture.html原创 2020-12-09 23:18:31 · 3400 阅读 · 3 评论 -
Flink整合kafka的两阶段提交结论
文章目录1.Flink+kafka是如何实现exactly-once语义的2.WC案例的如何做chekcpoint3.源码分析参考资料1.Flink+kafka是如何实现exactly-once语义的两段提交: 预提交 确认提交Flink通过checkpoint来保存数据是否处理完成的状态由JobManager协调各个TaskManager进行checkpoint存储,checkpoint保存在 StateBackend中,默认StateBackend是内存级的,也可以改为文件级的进行持久化保存。原创 2020-12-05 14:13:54 · 3258 阅读 · 2 评论 -
Flink 清除过期Checkpoints目录文件
1.创建shell脚本/flink/flink_checkpoint_clear.sh#!/bin/bash# hdfs目录HDFS='/hadoop/hadoop-2.9.1/bin/hdfs dfs -ls /flink/checkpoints'# 删除N天前的hdfs目录N=3# 删除脚本DELETE='/hadoop/hadoop-2.9.1/bin/hdfs dfs -rm -r'# 生产使用old_version=$($HDFS | awk 'BEGIN{ days_ago原创 2020-06-12 13:55:14 · 691 阅读 · 0 评论 -
监控flink on yarn运行错误日志并发送钉钉告警
文章目录1.创建shell监控脚本flink_log_monitor.sh2.设置钉钉智能机器人3.crontab执行脚本4.mysql存放日志INFO5.钉钉告警1.创建shell监控脚本flink_log_monitor.sh #!/bin/bashnow=`date '+%Y-%m-%d %H:%M:%S'`# 传入要遍历的目录root_dir="$1"# 初始化监控文件,通过getdir方法得到monitor_file=# 错误记录到mysqlfunction erro原创 2020-07-07 19:48:35 · 2160 阅读 · 1 评论