lijianqingfeng的专栏

背景 用flink做数据处理的时候，我们经常会想要将数据分成几类处理，或者有一批特殊数据需要单独处理。但是我们又想复用同一个流式任务，避免重复处理数据。 这种需求，使用sideoutput完美解决。建议直接看官方文档就好了：https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/side_output.html 官方github示例：https://github.com/apache/flink/blo...

在部署flink的时候，发现hdfs的namenode有可能会有单点故障问题，所以给它做一个HA的部署。关注点：1、NameNode HA模式下，active的NameNode挂掉之后，切换时间有多长？答：根据测试来看，切换时间非常短。kill掉active的NameNode之后，再去查询standby的NameNode状态，会发现已经变成active。具体时间可能有更多因素影响：（1）zk心跳间隔（2）NameNode的qps2、Flink是否会受到NameNode切换的影响？答：

集群架构环境 机器环境 java8 SSH 各模块版本 Flink： 1.8.x Hadoop：2.8.x Zookeeper：3.4.x 部署流程Misc操作账号:user(教程中配置示例使用的是”root”) 操作顺序 SSH免密登陆 ZooKeeper部署/Hadoop部署(两者无先后顺序) Flink部署 安装包 flink 1.8 包采用flink-1.8.1-bin-scala_2.11.tgz 下载地址：http..

项目中需要用flink去加载c++的so文件。flink任务中如果有加载so的逻辑，当任务挂掉之后，再次重启的时候会报“Native Library xxx is being loaded in another classloader”的错误（这个过程中Flink集群的进程没退出）。 通过分析System.loadLibrary(String libname)方法，发现加载后的so文件会记录在内存里，会记录一些信息，包括so文件名、加载这个so的类所用的classLoader（每个类都是被...

现象就是一个加了slotSharingGroup的程序，在本地调试的时候可能数据流不流动，把slotSharingGroup去掉就可以了。原因未知，hold。有路过了解的朋友可以给说一下，或者给个链接。

背景：最近用到flink做项目，程序在线上遇到了内存持续增长最后导致OOM的问题；还有一种情况是内存增长过高，在触发GC的时候产生超长停顿使taskmanager失去心跳而导致任务失败。OOM问题比较难查，幸亏有团队的小伙伴一起帮着查询并解决。记录一下查询过程和中间用到的内存分析工具使用方法，以前很少用到这些工具，现在频繁使用，发觉其实也不是那么高深莫测。堆dump首先，对于内存超高的进程进行堆dump。命令如下：jmap -dump:format=b,file=xxx pid..

好文：https://www.jianshu.com/p/4d31d6cddc99

flink的checkpoint机制提供了容错能力。那它是怎么实现的呢？看了《Flink原理、实战预性能优化》，加上两篇文章，大致理清了思路两篇文章链接：https://www.jianshu.com/p/9993f514ea0ahttps://www.jianshu.com/p/a40a1b92f6a2checkpoint是怎么做的？数据流中会定时产生一个bar...