2024年最全携程2024大数据开发一面(3)，阿里P7大牛亲自讲解

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

把热 key 进行拆分，先聚合热key，再二次聚合

• 参数设置

Flink 1.9.0 SQL(Blink Planner) 性能优化中一项重要的改进就是升级了微批模型，即

• MiniBatch。原理是缓存一定的数据后再触发处理，以减少对 State 的访问，从而提升吞吐和减少数据的输出量。

7. hive调优

8. Flink 任务延迟高，想解决这个问题，你会如何入手？

在 Flink 的后台任务管理中，我们可以看到 Flink 的哪个算子和 task 出现了反压（网络流控）。最主要的手段是资源调优和算子调优。资源调优即是对作业中的 Operator 的并发数（parallelism）、CPU（core）、堆内存（heap_memory）等参数进行调优。作业参数调优包括：并行度的设置，State 的设置，checkpoint 的设置。

9. Flink 有没有重启策略？说说有哪几种？

Flink 实现了多种重启策略。

• 固定延迟重启策略（Fixed Delay Restart Strategy）：固定延迟重启策略是尝试给定次数重新启动作业。如果超过最大尝试次数，则作业失败。在两次连续重启尝试之间，会有一个固定的延迟等待时间。

• 故障率重启策略（Failure Rate Restart Strategy）：故障率重启策略在故障后重新作业，当设置的故障率（failure rate）超过每个时间间隔的故障时，作业最终失败。在两次连续重启尝试之间，重启策略延迟等待一段时间。

• 没有重启策略（No Restart Strategy） ：作业直接失败，不尝试重启。

• 后备重启策略（Fallback Restart Strategy） ：使用群集定义的重新启动策略。这对于启用检查点的流式传输程序很有帮助。

默认情况下，如果没有定义其他重启策略，则选择固定延迟重启策略。

10. sql笔试：连续三天登录的用户

思路：三次自联结查询即可

select a.username

from logtable a,logtable b,logtable c

where a.time=b.time + 1 and b.time=c.time+1

and a.action=‘loging’ and b.action=‘loging’ and c.action=‘loging’

and a.usernaem=b.username and a.username=c.username

10. Flink 中水印是什么概念，起到什么作用？

Watermark 是 Apache Flink 为了处理 EventTime 窗口计算提出的一种机制, 本质上是一种时间戳。 一般来讲 Watermark 经常和 Window 一起被用来处理乱序事件。

11. Flink 是如何保证 Exactly-once 语义的？

Checkpoint机制加两阶段提交

Flink 通过实现两阶段提交和状态保存来实现端到端的一致性语义。 分为以下几个步骤：

1. 开始事务（beginTransaction）创建一个临时文件夹，来写把数据写入到这个文件夹里面

2. 预提交（preCommit）将内存中缓存的数据写入创建的临时文件并关闭

3. 正式提交（commit）将之前写完的临时文件放入目标目录下。这代表着最终的数据会有一些延迟

4. 丢弃（abort）丢弃临时文件

若失败发生在预提交成功后，正式提交前。可以根据状态来提交预提交的数据，也可删除预提交的数据。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

需要这份系统化资料的朋友，可以戳这里获取