![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
小米的蝉
Keep It Simple and Stupid
展开
-
Flink 算子Function实例化的坑
问题回顾关于一段代码:object MySingleObj{ // 陷阱: // 单例对象中一个是可变引用,一个是可变数组 var str:String = _ val list = new ListBuffer[String]}...dataStream .map(new RichMapFunction(){ // 问题1:obj1 和 obj2 的实例方式有什么区别。 // 问题2:考虑参数0的作用以及是否会得到预期效果。 val obj1:MyClass = n原创 2021-02-23 14:40:56 · 1516 阅读 · 0 评论 -
Flink 内存模型的分配策略 主公式推导
结论: 启动flink设定的 ytm数值 与实际监控展示的JVM_Heap数值关系是 (ytm大于1920的简化公式)JVM_Heap = ytm * 0.45 - 256啓動參數: -ytm 设定的实际是 进程总内存,相当于yarn容器大小Total_Process_Memory: ytmJVM_Metaspace: 默認 256mJVM_Overhead: 默認 jtm * 0.1 (必須在 192m ~ 1g (默認))Total_Flink_Memory: Total_Proces原创 2021-01-08 15:53:09 · 212 阅读 · 0 评论 -
关于 Flink1.11.1 找不到 Hadoop Native库解决方法
可以试试在 flink 的 conf/flink-conf.yaml 配置文件中加入配置如下其中的native库的具体路径换成你自己的。yarn.application-master.env.LD_LIBRARY_PATH: /opt/cloudera/parcels/CDH/lib/hadoop/lib/native:$LD_LIBRARY_PATHyarn.taskmanager.env.LD_LIBRARY_PATH: /opt/cloudera/parcels/CDH/lib/hadoop/l原创 2020-12-15 18:16:14 · 496 阅读 · 0 评论 -
关于Flink写入Redis没有incrByFloat等方法的解决措施
首当其冲:改源码。使用的是org.apache.bahir:flink-connector-redis_2.11目前2020年8月中maven官方库中最新的版本只有1.0。此版本未提供incrByFloat的方法。首先猜测可能maven库不是最新的。去到此项目的github上一看。居然是1.1-SNAPSHOT的版本。但是此版本中仍然没有找到incrByFloat。所以我们可以使用改源码重新编译的方式来解决这个问题。org.apache.flink:flink-connector-redis_2.1原创 2020-09-22 12:40:45 · 423 阅读 · 1 评论 -
关于Flink 本地测试,自定义WebUI 端口的方法
以1.11.1版本举例,相差不大的版本之间大同小异。当我们加入了pom依赖后.发现能够看到本地IDE中的flink的webUI了. <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</artifactId> <version>${flink.version}</vers原创 2020-09-09 19:17:12 · 6851 阅读 · 4 评论