既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
- Key 的设计上
把热 key 进行拆分,先聚合热key,再二次聚合
- 参数设置
Flink 1.9.0 SQL(Blink Planner) 性能优化中一项重要的改进就是升级了微批模型,即
- MiniBatch。原理是缓存一定的数据后再触发处理,以减少对 State 的访问,从而提升吞吐和减少数据的输出量。
-
hive调优
-
Flink 任务延迟高,想解决这个问题,你会如何入手?
在 Flink 的后台任务管理中,我们可以看到 Flink 的哪个算子和 task 出现了反压(网络流控)。最主要的手段是资源调优和算子调优。资源调优即是对作业中的 Operator 的并发数(parallelism)、CPU(core)、堆内存(heap_memory)等参数进行调优。作业参数调优包括:并行度的设置,State 的设置,checkpoint 的设置。
- Flink 有没有重启策略?说说有哪几种?
Flink 实现了多种重启策略。
-
固定延迟重启策略(Fixed Delay Restart Strategy):固定延迟重启策略是尝试给定次数重新启动作业。如果超过最大尝试次数,则作业失败。在两次连续重启尝试之间,会有一个固定的延迟等待时间。
-
故障率重启策略(Failure Rate Restart Strategy):故障率重启策略在故障后重新作业,当设置的故障率(failure rate)超过每个时间间隔的故障时,作业最终失败。在两次连续重启尝试之间,重启策略延迟等待一段时间。
-
没有重启策略(No Restart Strategy) :作业直接失败,不尝试重启。
-
后备重启策略(Fallback Restart Strategy) :使用群集定义的重新启动策略。这对于启用检查点的流式传输程序很有帮助。
默认情况下,如果没有定义其他重启策略,则选择固定延迟重启策略。
- sql笔试:连续三天登录的用户
思路:三次自联结查询即可
select a.username
from logtable a,logtable b,logtable c
where a.time=b.time + 1 and b.time=c.time+1
and a.action=‘loging’ and b.action=‘loging’ and c.action=‘loging’
and a.usernaem=b.username and a.username=c.username
- Flink 中水印是什么概念,起到什么作用?
Watermark 是 Apache Flink 为了处理 EventTime 窗口计算提出的一种机制, 本质上是一种时间戳。 一般来讲 Watermark 经常和 Window 一起被用来处理乱序事件。
- Flink 是如何保证 Exactly-once 语义的?
Checkpoint机制加两阶段提交
Flink 通过实现两阶段提交和状态保存来实现端到端的一致性语义。 分为以下几个步骤:
-
开始事务(beginTransaction)创建一个临时文件夹,来写把数据写入到这个文件夹里面
-
预提交(preCommit)将内存中缓存的数据写入创建的临时文件并关闭
-
正式提交(commit)将之前写完的临时文件放入目标目录下。这代表着最终的数据会有一些延迟
-
丢弃(abort)丢弃临时文件
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**