携程2024大数据开发一面，大数据开发程序员如何通过跳槽薪资翻倍

• MiniBatch。原理是缓存一定的数据后再触发处理，以减少对 State 的访问，从而提升吞吐和减少数据的输出量。

7. hive调优

8. Flink 任务延迟高，想解决这个问题，你会如何入手？

在 Flink 的后台任务管理中，我们可以看到 Flink 的哪个算子和 task 出现了反压（网络流控）。最主要的手段是资源调优和算子调优。资源调优即是对作业中的 Operator 的并发数（parallelism）、CPU（core）、堆内存（heap_memory）等参数进行调优。作业参数调优包括：并行度的设置，State 的设置，checkpoint 的设置。

9. Flink 有没有重启策略？说说有哪几种？

Flink 实现了多种重启策略。

• 固定延迟重启策略（Fixed Delay Restart Strategy）：固定延迟重启策略是尝试给定次数重新启动作业。如果超过最大尝试次数，则作业失败。在两次连续重启尝试之间，会有一个固定的延迟等待时间。

• 故障率重启策略（Failure Rate Restart Strategy）：故障率重启策略在故障后重新作业，当设置的故障率（failure rate）超过每个时间间隔的故障时，作业最终失败。在两次连续重启尝试之间，重启策略延迟等待一段时间。

• 没有重启策略（No Restart Strategy） ：作业直接失败，不尝试重启。

• 后备重启策略（Fallback Restart Strategy） ：使用群集定义的重新启动策略。这对于启用检查点的流式传输程序很有帮助。

默认情况下，如果没有定义其他重启策略，则选择固定延迟重启策略。

10. sql笔试：连续三天登录的用户

思路：三次自联结查询即可

select a.username

from logtable a,logtable b,logtable c

where a.time=b.time + 1 and b.time=c.time+1

and a.action=‘loging’ and b.action=‘loging’ and c.action=‘loging’

and a.usernaem=b.username and a.username=c.username

10. Flink 中水印是什么概念，起到什么作用？

Watermark 是 Apache Flink 为了处理 EventTime 窗口计算提出的一种机制, 本质上是一种时间戳。 一般来讲 Watermark 经常和 Window 一起被用来处理乱序事件。

11. Flink 是如何保证 Exactly-once 语义的？

Checkpoint机制加两阶段提交

Flink 通过实现两阶段提交和状态保存来实现端到端的一致性语义。 分为以下几个步骤：

1. 开始事务（beginTransaction）创建一个临时文件夹，来写把数据写入到这个文件夹里面

2. 预提交（preCommit）将内存中缓存的数据写入创建的临时文件并关闭

3. 正式提交（commit）将之前写完的临时文件放入目标目录下。这代表着最终的数据会有一些延迟

4. 丢弃（abort）丢弃临时文件

若失败发生在预提交成功后，正式提交前。可以根据状态来提交预提交的数据，也可删除预提交的数据。

12. Flink 计算资源的调度是如何实现的？

TaskManager 中最细粒度的资源是 Task slot，代表了一个固定大小的资源子集，每个TaskManager 会将其所占有的资源平分给它的 slot。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

so-1713033500783)]

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！