![](https://img-blog.csdnimg.cn/20190930010355342.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink
fanru_bigdata
这个作者很懒,什么都没留下…
展开
-
Flink 单并行度内使用多线程来提高任务的整体性能
分析痛点 笔者线上有一个 Flink 任务消费 Kafka 数据,将数据转换后,在 Flink 的 Sink 算子内部调用第三方 api 将数据上报到第三方的数据分析平台。这里使用批量同步 api,即:每 50 条数据请求一次第三方接口,可以通过批量 api 来提高请求效率。由于调用的外网接口,所以每次调用 api 比较耗时。假如批次大小为 50,且请求接口的平均响应时间为 50ms,使用同步 a...原创 2019-11-18 02:15:48 · 4087 阅读 · 4 评论 -
一文搞懂 Flink 网络流控与反压机制
看完本文,你能get到以下知识 Flink 流处理为什么需要网络流控? Flink V1.5 版之前网络流控介绍 Flink V1.5 版之前的反压策略存在的问题 Credit的反压策略实现原理,Credit是如何解决 Flink 1.5 之前的问题? 对比spark,都说flink延迟低,来一条处理一条,真是这样吗?其实Flink内部也有Buffer机制,Buffer机制具体是如何实现的? ...原创 2019-09-30 01:10:37 · 1200 阅读 · 0 评论 -
Flink定位SubTask在哪台机器哪个进程执行
痛点:假如我们在FLink的WebUI Metrics页面发现有一个SubTask每秒处理的数据明显比其他低,又或者在CheckPoint页面,发现有一个SubTask的CheckPoint时间明显比较长。有时候定位问题需要到TaskManager所在机器找到相应的Java进程使用jmap分析进程的内存使用或者jstack分析线程信息。现在问题来了,如果你知道某个SubTask已经有问题了,怎么快...原创 2019-10-04 20:28:24 · 1015 阅读 · 0 评论 -
使用 Maven 构建 Flink 项目的正确姿势
通过本文你能 get 到以下点: 使用 Maven 构建的 Flink 项目 module 如何规划 Shade 插件解决 Jar 包依赖冲突(不限于 Flink,Spark 同样适用) 使用 Maven 构建的 Flink 项目 module 如何规划 痛点 先从痛点开始讲起,通常由 Maven 来构建 Flink 项目,如下图所示,一般会按照业务来划分 module。 本项目是 z...原创 2019-10-11 02:52:17 · 4356 阅读 · 1 评论