- 博客(7)
- 收藏
- 关注
RSS订阅原创 Flink 单并行度内使用多线程来提高任务的整体性能
分析痛点笔者线上有一个 Flink 任务消费 Kafka 数据，将数据转换后，在 Flink 的 Sink 算子内部调用第三方 api 将数据上报到第三方的数据分析平台。这里使用批量同步 api，即：每 50 条数据请求一次第三方接口，可以通过批量 api 来提高请求效率。由于调用的外网接口，所以每次调用 api 比较耗时。假如批次大小为 50，且请求接口的平均响应时间为 50ms，使用同步 a...
2019-11-18 02:15:48
4084
4
原创 使用 Maven 构建 Flink 项目的正确姿势
通过本文你能 get 到以下点：使用 Maven 构建的 Flink 项目 module 如何规划Shade 插件解决 Jar 包依赖冲突（不限于 Flink，Spark 同样适用）使用 Maven 构建的 Flink 项目 module 如何规划痛点先从痛点开始讲起，通常由 Maven 来构建 Flink 项目，如下图所示，一般会按照业务来划分 module。本项目是 z...
2019-10-11 02:52:17
4347
1
原创 Flink定位SubTask在哪台机器哪个进程执行
痛点：假如我们在FLink的WebUI Metrics页面发现有一个SubTask每秒处理的数据明显比其他低，又或者在CheckPoint页面，发现有一个SubTask的CheckPoint时间明显比较长。有时候定位问题需要到TaskManager所在机器找到相应的Java进程使用jmap分析进程的内存使用或者jstack分析线程信息。现在问题来了，如果你知道某个SubTask已经有问题了，怎么快...
2019-10-04 20:28:24
1010
原创 HQL练习题及答案-有了它妈妈再也不用担心我的SQL面试了
本文通过简单易懂的业务场景，旨在提高大家的 SQL 水平。把文中所有的 SQL 全理解了，工作中遇到的各种 SQL 场景和面试中遇到的各种 SQL 问题都能灵活应对。文中所有的 SQL 都支持 Hive 语法，学会了 Hive 的 SQL，那么 MySQL 的 SQL 题也都可以 cover 住，下面的题目难度从简单到困难的都有。笔者在之前练习 SQL 过程中，发现了网上一些比较好的 SQL 题目...
2019-10-03 23:37:40
1798
1
原创 一文搞懂 Flink 网络流控与反压机制
看完本文，你能get到以下知识Flink 流处理为什么需要网络流控？Flink V1.5 版之前网络流控介绍Flink V1.5 版之前的反压策略存在的问题Credit的反压策略实现原理，Credit是如何解决 Flink 1.5 之前的问题？对比spark，都说flink延迟低，来一条处理一条，真是这样吗？其实Flink内部也有Buffer机制，Buffer机制具体是如何实现的？...
2019-09-30 01:10:37
1195
原创 一文彻底搞懂跳表的各种时间复杂度、适用场景以及实现原理
跳表是一种神奇的数据结构，因为几乎所有版本的大学本科教材上都没有跳表这种数据结构，而且神书《算法导论》、《算法第四版》这两本书中也没有介绍跳表。但是跳表插入、删除、查找元素的时间复杂度跟红黑树都是一样量级的，时间复杂度都是O(logn)，而且跳表有一个特性是红黑树无法匹敌的（具体什么特性后面会提到）。所以在工业中，跳表也会经常被用到。废话不多说了，开始今天的跳表学习。通过本文，你能 get 到以...
2019-09-30 01:06:09
28083
17
原创 对于指针（一级指针）的理解（文中如有理解错误，欢迎指正，大家互相学习）
指针（一级指针）是指向普通变量的指针（一级指针保存着普通变量的地址）；int *a = NULL; //空指针int c = 5; //变量c现在保存着5（这么写是为了大家理解指针）a = &c； //指针a指向变量c的地址（指针变量a现在保存着c的地址值）执行完这三句，*a == 5解释：*a表示对指针变量a进行解引用（找到a中保存的...
2017-08-15 10:33:03
410
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人