携程2024大数据开发一面

最新推荐文章于 2024-09-26 17:10:31 发布
最新推荐文章于 2024-09-26 17:10:31 发布
阅读量237 收藏 9
点赞数 16
分类专栏： 程序员 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84182392/article/details/138364743
版权
本文介绍了Flink中的常用算子如Map、Filter、KeyBy、Reduce和Window，讨论了数据倾斜和热点问题的解决方法，以及Flink的任务调优和重启策略。还涉及SQL示例和水印的概念。最后倡导系统化学习和社区交流的重要性。
摘要由CSDN通过智能技术生成
  1. 说说 Flink 的常用算子？

Flink 最常用的常用算子包括：Map：DataStream → DataStream，输入一个参数产生一个参数，map 的功能是对输入的参数进行转换操作。Filter：过滤掉指定条件的数据。KeyBy：按照指定的 key 进行分组。Reduce：用来进行结果汇总合并。Window：窗口函数，根据某些特性将每个 key 的数据进行分组（例如：在 5s 内到达的数据）

  1. flink某个任务卡住了怎么处理

  2. Flink 中在使用聚合函数 GroupBy、Distinct、KeyBy 等函数时出现数据热点该如何解决？

数据倾斜和数据热点是所有大数据框架绕不过去的问题。处理这类问题主要从 3 个方面入手：

  • Key 的设计上

把热 key 进行拆分，先聚合热key，再二次聚合

  • 参数设置

Flink 1.9.0 SQL(Blink Planner) 性能优化中一项重要的改进就是升级了微批模型，即

  • MiniBatch。原理是缓存一定的数据后再触发处理，以减少对 State 的访问，从而提升吞吐和减少数据的输出量。

  1. hive调优

  2. Flink 任务延迟高，想解决这个问题，你会如何入手？

在 Flink 的后台任务管理中，我们可以看到 Flink 的哪个算子和 task 出现了反压（网络流控）。最主要的手段是资源调优和算子调优。资源调优即是对作业

最低0.47元/天 解锁文章
2401_84182392
关注
专栏目录
携程2021大数据开发一面
如切如磋，如琢如磨
03-23 546
感谢小乐同学提供的信息！ 视频40分钟 flink计算资源分配 flink精确一次语意 flink，watermark flink某个任务卡住了怎么处理 flink数据倾斜 hive调优 hql连续三天活跃的用户 sql笔试：连续三天登录的用户 思路：三次自联结查询即可 select a.username from logtable a,logtable b,logtable c where a.time=b.time + 1 and b.time=c.time+1 an
携程2024大数据开发一面，大数据开发面试知识点
2301_79054873的博客
04-18 302
而在同一个 JVM 进程中的 task，可以共享 TCP 连接（基于多路复用）和心跳消息，可以减少数据的网络传输，也能共享一些数据结构，一定程度上减少了每个 task 的消耗。在 Flink 的后台任务管理中，我们可以看到 Flink 的哪个算子和 task 出现了反压（网络流控）。TaskManager 中最细粒度的资源是 Task slot，代表了一个固定大小的资源子集，每个TaskManager 会将其所占有的资源平分给它的 slot。可以根据状态来提交预提交的数据，也可删除预提交的数据。
2024年最新携程2024大数据开发一面，2024年最新张口就来
2401_84573042的博客
05-10 662
资源调优即是对作业中的 Operator 的并发数（parallelism）、CPU（core）、堆内存（heap_memory）等参数进行调优。作业参数调优包括：并行度的设置，State 的设置，checkpoint 的设置。故障率重启策略（Failure Rate Restart Strategy）：故障率重启策略在故障后重新作业，当设置的故障率（failure rate）超过每个时间间隔的故障时，作业最终失败。没有重启策略（No Restart Strategy） ：作业直接失败，不尝试重启。
携程2024大数据开发一面(1)
m0_74932057的博客
04-29 213
KeyBy：按照指定的 key 进行分组。准备阶段协调者向参与者发送预提交，参与者记录当前日志用于回滚和重放，实际提交时协调者向参与这发送提交请求，参与者真实提交数据，若参与者提交成功，则发送ack到协调者，协调者收到所有参与者的ack事务完成，否则向所有参与者发送回滚请求，按照之前记录的状态完成回滚并返回ack.故障率重启策略（Failure Rate Restart Strategy）：故障率重启策略在故障后重新作业，当设置的故障率（failure rate）超过每个时间间隔的故障时，作业最终失败。
2024年大数据最全携程2024大数据开发一面(1)，2024年最新大数据开发基础
2401_84592149的博客
05-09 292
Flink 最常用的常用算子包括：Map：DataStream → DataStream，输入一个参数产生一个参数，map 的功能是对输入的参数进行转换操作。作业参数调优包括：并行度的设置，State 的设置，checkpoint 的设置。故障率重启策略（Failure Rate Restart Strategy）：故障率重启策略在故障后重新作业，当设置的故障率（failure rate）超过每个时间间隔的故障时，作业最终失败。默认情况下，如果没有定义其他重启策略，则选择固定延迟重启策略。
2024年携程2024大数据开发一面(4)，2024年阿里大数据开发高级面试题分享
2401_84185106的博客
05-10 308
Flink 最常用的常用算子包括：Map：DataStream → DataStream，输入一个参数产生一个参数，map 的功能是对输入的参数进行转换操作。作业参数调优包括：并行度的设置，State 的设置，checkpoint 的设置。故障率重启策略（Failure Rate Restart Strategy）：故障率重启策略在故障后重新作业，当设置的故障率（failure rate）超过每个时间间隔的故障时，作业最终失败。默认情况下，如果没有定义其他重启策略，则选择固定延迟重启策略。
2024年大数据最新携程2024大数据开发一面(2)，2024年最新HTTPS面试常问全解析
2401_84182392的博客
05-10 274
Flink 最常用的常用算子包括：Map：DataStream → DataStream，输入一个参数产生一个参数，map 的功能是对输入的参数进行转换操作。作业参数调优包括：并行度的设置，State 的设置，checkpoint 的设置。故障率重启策略（Failure Rate Restart Strategy）：故障率重启策略在故障后重新作业，当设置的故障率（failure rate）超过每个时间间隔的故障时，作业最终失败。默认情况下，如果没有定义其他重启策略，则选择固定延迟重启策略。
2024年最全携程2024大数据开发一面(3)，阿里P7大牛亲自讲解
2401_84166376的博客
05-10 638
在 Flink 的后台任务管理中，我们可以看到 Flink 的哪个算子和 task 出现了反压（网络流控）。资源调优即是对作业中的 Operator 的并发数（parallelism）、CPU（core）、堆内存（heap_memory）等参数进行调优。故障率重启策略（Failure Rate Restart Strategy）：故障率重启策略在故障后重新作业，当设置的故障率（failure rate）超过每个时间间隔的故障时，作业最终失败。可以根据状态来提交预提交的数据，也可删除预提交的数据。
携程2024大数据开发一面，大数据开发程序员如何通过跳槽薪资翻倍
2401_84181340的博客
04-14 643
资源调优即是对作业中的 Operator 的并发数（parallelism）、CPU（core）、堆内存（heap_memory）等参数进行调优。故障率重启策略（Failure Rate Restart Strategy）：故障率重启策略在故障后重新作业，当设置的故障率（failure rate）超过每个时间间隔的故障时，作业最终失败。TaskManager 中最细粒度的资源是 Task slot，代表了一个固定大小的资源子集，每个TaskManager 会将其所占有的资源平分给它的 slot。
2022 携程提前批大数据一二(oc) 面经
大数据梦想家
10-21 2975
前言          卷友们，大家好 ~ 我是梦想家 Alex 。最近原创更新频率挺高，主要还是感谢群友们的积极投稿，让我能得到这么多珍贵的素材，才有机会展示给大家~         本期内容，我为大家带来的是群友 louwin 在参加 2022年 携程提前批大数据面试 后写下的面经。如果对大家有所启发，希望能在文末来发三连，感谢大家~ 202
2021届秋招携程一面凉经[大数据分析师]
qq_36948507的博客
08-18 1431
携程一面面经[大数据分析师]面试前准备1.确认携程大数据分析师JD2.自我介绍(三段式)3.为什么投携程4.介绍实习与收获5.项目经历6.你是什么样的人？职业规划是什么？面试中~ 时间：2020-08-18 11:10 地点：赛码在线面试系统 如果用一个字形容这次面试的话，那一定就是「凉」。不过这是我漫漫秋招路上的第一次面试，主要还是为了积累经验吧。 面试前准备 1.确认携程大数据分析师JD 2.自我介绍(三段式) 我是在牛客网上参考阿狸的帖子写的自我介绍模板参考。 我叫XXX，现在就读于XXX大学XX
Java小程序开发实例！携程开源的分布式apollo技术
m0_57286518的博客
07-08 228
第一个：Alibaba[搜索推荐] 一面：算法题:长度为n的数组里放了n+1个大小在[1,n]的数，必然至少有一个重复的数，找出来 二面：概率题：求一根绳子被切两刀能组成一个三角形的概率。 三面主管面：FM推导，deepfm原理，graph embedding，问了之前的一些项目。 四面交叉面：模型上线时应该注意的事，如果请求过高模型服务挂了怎么办，tensorflow和torch的区别，如何降低模型复杂度。 第二个：百度 原生商业推广部 一面：算法题：快排非递归，旋转有序数组找某个值 二面：算法题：
Python 如何调用讯飞星火大模型API
hello_1995的博客
09-21 1190
讯飞星火是科大讯飞推出的一款先进的人工智能大模型，它具备强大的语言理解和知识问答能力，能够在多种场景中提供智能化服务。2024年6月27日，科大讯飞发布了讯飞星火大模型V4.0版本，全面对标GPT-4 Turbo。
如何实现全行业证照一站式结构化识别？Textln企业资质证照识别上线！
最新发布
b_qixin的博客
09-26 293
对于无Key的Value信息，例如下图中的证照名称“药品经营许可证”，模型也可基于强大的语义理解能力与所具备的专项领域知识，实现准确完整的关键信息抽取。，并理解信息间的对应关系，以“K-V对”的形式自动实现证照中全部关键信息的结构化抽取，提升信息数据的提取和录入效率。除抽取证照中的文本信息外，模型集成了印章检测能力，可以捕捉资质证照中的印章信息，并输出印章的类型、颜色、形状及内容。自动识别录入企业经营资质信息，可应用于机构开户、经营性贷款审批等金融服务场景，提升信息录入效率，控制业务风险。
[单master节点k8s部署]23.构建EFK日志收集平台（二）
weixin_45396500的博客
09-24 944
这里的PVC的name是data，这里容器绑定的存储名称也是data，路径为/usr/share/elasticsearch/data。创建了elasticsearch的服务（elasticsearch_svc.yaml）,定义了两个接口，一个是对外的，一个是elasticsearch集群内部通信的。这里的三个初始化容器是为了更好的准备elasticsearch的容器环境，确保在elasticsearch启动之前，所有的权限都已经配置正确。这里需要介绍pod的创建顺序。
ElasticSearch的搜索方式
gaoqiandr的博客
09-21 670
本文主要介绍的是Elasticsearch的基本搜索方式
大数据新视界 --大数据大厂之算法在大数据中的核心作用：提升效率与智能决策
青云交的博客
09-20 2606
本文深入剖析算法在大数据中的核心作用。从提升大数据处理效率和助力智能决策两方面展开，涵盖数据过滤与清洗、并行计算优化等多种算法，结合实际案例与代码示例，阐述其原理、优势、局限性及优化方法。强调算法与新兴技术融合的未来发展方向，同时关注安全性、伦理和社会责任。呼吁读者参与互动讨论，分享算法应用经验及对未来发展的期待建议。
企业内训｜大模型/智算行业发展机会深度剖析-某数据中心厂商
weixin_48649532的博客
09-26 942
汶生老师在培训中深入剖析了大模型的底层原理、技术进展以及在全球及国内的竞争态势，强调大模型在未来的发展将依赖于AI生成的数据和更高效的算力解决方案，为AI中间层、AI应用开发平台及教育、商业模式等领域提供了新的机遇。他特别指出，数据壁垒对AI性能的制约性日益显现，自监督学习向泛化智能的演进路径成为未来行业的重要发展方向。
携程实时大数据平台实践：基于Storm的构建与挑战
"携程在构建实时大数据平台的过程中，面临了业务部门众多、需求各异，以及原有Batch处理方式无法满足实时分析的问题。原有的实时数据分析应用存在技术选型混乱、稳定性不足、缺乏周边设施（如报警、监控）以及信息...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值