![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 57
林子茗
这个作者很懒,什么都没留下…
展开
-
Flink 笔记
Flink运行时包含2种进程:1个JobManager和至少1个TaskManagerTaskManager 是一个JVM进程。经验:TaskManager内存设置,一般一个TaskManager 4-6G内存;再大反而不好,因为可能会发生GC,发生GC时TaskManager不对外工作,若内存很大,发生GC时 时间会比较久。内存设置超出yarn上限也不好。yarn一个任务的内存上限默认是8G。Slot:对CPU和内存的封装 一个TaskManager有多个slot, 多个slot之间对内存进行隔离,共享原创 2022-07-11 12:51:15 · 752 阅读 · 0 评论 -
Flink SQL 细节记录
FlinkSQL连接 MySQL时的一些细节总结,应该会持续更新吧原创 2022-06-15 13:07:18 · 124 阅读 · 0 评论 -
FlinkSQL 执行executeInsert方法,把结果写出到MySQL时,结果表和sink的表的字段顺序不一样导致错误
FlinkSQL 执行executeInsert方法,把结果写出到MySQL时,结果表和sink的表的字段顺序不一样导致错误结论FlinkSQL 执行executeInsert方法时,结果表和sink的表的字段顺序必须一致原创 2022-06-15 12:55:13 · 1076 阅读 · 0 评论 -
FlinkSQL求TopN时遇到的错误
在求TopN的时候,一步一步测并打印测试结果。遇到如下问题执行上面代码的时候,报下面的错误:org.apache.flink.table.api.TableException: The window can only be ordered in ASCENDING mode.把desc降序删掉又报下面的错误org.apache.flink.table.api.TableException: OVER windows’ ordering in stream mode must be defined o原创 2022-06-15 11:07:58 · 1782 阅读 · 2 评论 -
使用Flink CDC 2.x版本 读取MySQL,只能读取全量数据,无法读取增量(binlog) 数据
使用Flink CDC 2.x版本,读取MySQL的时候,只能读取全量数据,无法读取增量(binlog) 数据我本身已经开启了checkpoint在github上找到相关问题解答,但是我本身已经开启了checkpointhttps://github.com/ververica/flink-cdc-connectors/wiki/FAQ(ZH)后来把HDFS上的checkpoint目录删掉,问题就解决了。怀疑之前的checkpoint可能有问题。...原创 2022-06-11 10:03:23 · 2954 阅读 · 0 评论 -
flink部署-低级错误记录
flink部署时的一些低级错误:1.提交任务命令打错2.配了高可用没起zookeeper原创 2022-05-09 10:25:55 · 2666 阅读 · 0 评论 -
大数据基础-董CC
大数据基础JAVA基础:集合,线程,IO,反射,泛型,Map(映射),JVM(1.8),GC,算法,数据结构,streamWEB:GIT, VUE,Mysql,主从,读写分离,分库分表,索引,存储过程.SSM:Shiro,看雷图画雷图,设计模式,servlet,生命周期,过滤,拦截,监听JT:业务,nginx,redis(缓解数据库压力应对高并发,去状态),dubbo(zookeeper),mycat,微服务:cloud,MQ(RabbitMQ(1.2W),RocketMQ(3-5W),Kafka.原创 2021-05-24 23:22:34 · 260 阅读 · 0 评论 -
Flink 笔记 DN
Flink 笔记 DNFlink 笔记Flink介绍Flink近年来逐步被人们所熟知,不仅是因为Flink提供同时支持高吞吐、低延迟和exactly-once语义的实时计算能力,同时Flink还提供了基于流式计算引擎处理批量数据的计算能力,真正意义上实现了批流统一,同时随着阿里对Blink的开源,极大地增强了Flink对批计算领域的支持。众多优秀的特性,使得Flink成为开源大数据数据处理框架中的一颗新星,随着国内社区不断推动,越来越多的国内公司开始选择使用Flink作为实时数据处理技术。Flin原创 2021-05-05 17:52:43 · 515 阅读 · 0 评论