14_flink
文章平均质量分 70
zhouyanjun_
一直在学习。。。
展开
-
大数据面试题分享
“最近公司来了几个新同事,好奇问了下面试问题,记录下。”011)技术部分(1)Kafka原理,数据怎么平分到消费者(2)FlumeHDFS Sink小文件处理(3)Flink与SparkStreaming的差异,具体效果(4)Spark背压机制具体原理实现(5)Spark执行内存如何分配,执行任务时给多大内存(6)SparkSQL做了哪些功能(7)讲一下Flink(8)状态编程有哪些应用(9)端到端exactly-once如何保证(10)Fli...原创 2021-05-19 20:02:50 · 198 阅读 · 0 评论 -
Spark 与 Flink 的演进与区别(下)
01批处理与流处理批处理所谓的批处理,从字面意思理解,就是把一整块数据切分成一小块一小块,每一个小块称为一批。把一个小块数据分配给一个计算节点进行运算,这种情况称为批处理。所以说,批处理针对的数据是一个有限集合,也就是有界数据,这些数据在处理之前就已经存储在我们的源数据地址,当我们要进行处理的时候直接从这个数据集进行读取就可以了。流处理与批处理相对的,流处理的数据是无界的,数据就像一条河里的水源源不断地从上游流到计算框架中,我们不知道数据的总量是多少,也...原创 2021-05-18 22:26:48 · 443 阅读 · 0 评论 -
Spark 与 Flink 的演进与区别(上)
“ Hadoop 中的计算框架 MapReduce 的基本思想。我们已经知道,MapReduce 的主要功能就是并行计算,但是它也不是十全十美的,MapReduce 高成本的硬伤使得它已经不能很好地解决新时代的问题。”01什么是 Spark打开 Spark 的官网,我们看到的第一句话就是对 Spark 的定义:Spark 是用于大规模数据处理的通用分析引擎。当然,原文是英文的,这句是我翻译过来的。这句话非常简洁明了地讲解了 Spark 的功能,一个是针对大规模数据,一个是通用分析引擎。让我们简单回顾原创 2021-05-16 23:36:06 · 179 阅读 · 0 评论 -
实时计算的基础之流与异步:掌握实时计算先要理解异步编程
在实时计算中,使用flink,诸如上游、下游、streams 这样的概念都暗示着我们,“流”和“异步”之间有着某种关联。01异步编程框架说到“异步编程”或者“高并发编程”,你首先想到的是什么呢?根据我以往的经验: 青铜级的求职者,一般会说多线程、synchronized、锁等知识,更有甚者还会扯到 Redis 神马的。很显然,这类求职者对异步和高并发编程,其实是没有什么概念的; 白银级的求职者,则会说线程池、executor、ConcurrentHashMap...原创 2021-05-16 23:18:55 · 413 阅读 · 4 评论 -
flink面试指南.pdf
“ 免费送大家一分flink面试指南pdf,pdf见文章底部”链接:https://pan.baidu.com/s/1O9obRmwWGt75sFTLZc308A提取码:7piu复制这段内容后打开百度网盘手机App,操作更方便哦–来自百度网盘超级会员V5的分享希望大家可以关注下公众号,会定期分享自己从业经历、技术积累及踩坑经验,支持一下,鞠躬感谢~关注公众号回复:“资料全集”...原创 2021-05-12 22:24:08 · 223 阅读 · 0 评论 -
Flink运行架构
是打发斯蒂芬原创 2020-12-07 18:18:15 · 187 阅读 · 0 评论 -
Flink中的状态管理
Flink中的状态管理1、Flink中的状态[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3E3FtJlw-1601270265116)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200902181631638.png)]由一个任务维护,并且用来计算某个结果的所有数据,都属于这个任务的状态可以认为状态就是一个本地变量,可以被任务的业务逻辑访问Flink 会进行状原创 2020-09-28 13:17:53 · 534 阅读 · 2 评论