国内20家公司大模型岗位面经大汇总

面试情况

投过的公司:淘天,字节,蚂蚁,商汤,美团,夸克,腾讯,minimax,零一万物,阿里控股,潞晨科技,阿里巴巴国际,网易实验室,Momenta。

Offer:淘天,字节AML,商汤,蚂蚁,美团,夸克,腾讯混元,天翼云。

以下是面经分享

淘天【offer】

部门:未来生活实验室

介绍: 淘天集团的大模型研究将主要围绕两个场景展开:一是搜广推,二是逛逛的内容化。团队组建工作由淘天集团CEO戴珊、淘天集团CTO若海、阿里妈妈CTO郑波等人共同牵头。

面经

一面:

  • • 如何训练ocr任务

  • • 实验的setting

  • • ocr任务影响如何

  • • 高分辨率训练,再在小分辨率上,会不会崩掉

  • • 输出bbox有没有好的方式

HR面:

  • • 基本信息确认

  • • 考研进入电子科技大,为什么

  • • 为什么进入了诺亚

  • • 代表性的工作

  • • 如何解决问题的,国内在做语言大模型的多一些。

  • • 国内在做多模态大模型的

  • • 如何评测,评估这些大模型的。如何看待刷榜的问题。

  • • 你们的衡量指标

面试体验

面试体验很好。HR也没有那么咄咄逼人。阿里味不是特别明显。最终权衡也选择来了淘天,有兴趣来我们这边的欢迎投递简历,有卡(张)。

字节AML【offer】

部门:AML火山方舟大模型

介绍: 淘天集团的大模型研究将主要围绕两个场景展开:一是搜广推,二是逛逛的内容化。团队组建工作由淘天集团CEO戴珊、淘天集团CTO若海、阿里妈妈CTO郑波等人共同牵头。介绍链接。

预备面经

猎头也提供了一些其他候选人的面经, 整理如下:

  • • 设计一个Hash表

  • • 蓄水池问题

  • • 从超大文本文件中随机行采样

  • • 二叉搜索树-去掉超出[m, n]范围内的节点

  • • 计算交叉熵

  • • 计算IOU

一面:

  • • 多模态你们的流程

  • • 你们的OCR的结构

  • • layernorm的区别

二面:

  • • 什么时间开始做多模态模型

  • • 目前在文档

  • • Token长度太大。高分辨率如何解决。

  • • patch能不能变得

  • • VQGAN

  • • GPT4V的结构形式。

  • • LLM decoder

  • • MagViT

  • • LLM的基础知识需要尽快补上

三面:

  • • 自我介绍

  • • 多模态大模型用哪个模型

  • • Transformer比较熟悉

  • • python实现self attention和Transformer

面试体验

字节一如既往的注重coding,基本每一面两道题,自己能拿到offer也算是运气吧。一面的面试体验很差,可以说是毫无面试经验的面试官。

商汤【offer】:

一面:

  • • 简单的自我介绍

  • • 关于高分辨率的解决办法

  • • OCR是如何去做的,有没有grounding,Referring

  • • GPT4V 位置,检测明显的问题

  • • 你们是如何解决位置信息的

  • • 新的模态进来,如何去拼接过来

  • • 新来一批数据,如何训练

  • • tree1是否是tree2的子树

二面:

  • • AGI缺不了视觉

  • • 工业场景,人的检测,奇怪的零件,机器的检测。检测的结果,需要理解人的行为。理解和context的关系。人和环境的关系。借助多模态来解决

  • • 自驾,感知端,到决策端,感知不需要全面的感知,着重额感知需要

  • • 假新闻,图是真的。caption场景

  • • OCR,街景的OCR,文档,网页截图等是不同的,这些场景混在一起。会有影响吗?

  • • OCR的方案,一般是先出检测框,再出文本。不规则的文本,如何解决

  • • 多模态大模型的OCR

  • • Qwen-VL的文本检测形似,是否合理

  • • 模型本身的三种能力

  • • 自己的能力,认识什么

  • • LISA:借助decoder来做,用新的prompt来实现分割。】

  • • 外挂RAG等。

  • • 判断左右括号(),等组成的字符串是否是合法的

二面结束,问题不大。

三面:

  • • Leader面,聊了一些有的没的
面试体验

面试过程很专业,毕竟是商汤,算法技术是国内领先的,奈何没产品,而且薪资包也没有诚意。

蚂蚁风控大模型【offer】

一面:

  • • 自我介绍

  • • 介绍Focus-DETR,有没有在业务中应用。

二面:

  • • 介绍

  • • 目前在做的事情

  • • 下游的任务,文档场景,再做一个什么任务

  • • ocr数据是如何生成的

  • • 效果如何

  • • 如何解决幻觉的问题

HR面:

  • • 具体的工作内容,印象

  • • 安全内容,tob的内容审核。竞对。

  • • 个人介绍。

  • • 上海海思,为什么跳槽

  • • 算法支撑

MiniMax:【挂】

一面:

  • • 空间感知能力是如何解决的

  • • 不同token长度是否有做balance的方式

  • • 很多有价值的问题。

  • • python实现标题 MLP Regressor 题目描述 题目描述与要求:实现一个MLP regressor 的完整训练过程,包括:forward , backward , SGD更新参数;验证backward梯度正确性;构建数据,验证端到端正确性 (收敛&泛化);(optional) 参考你过往的实验经验,尽可能让功能更完善;不使用第三方库中已实现好的自动求导方法;P.S. 实现方法不限,但由于在线IDE运行环境不稳定,推荐使用numpy。

PS: 面试官对算法底层了解比较深入,比较考验代码能力,不是字节那种。

零一万物【挂】

一面:

  • • 多模态的情况。

  • • document的难度。

  • • 手写 self attention

二面:

  • • 自我介绍

  • • 传统的OCR模型和多模态大模型的区别

  • • 带不带OCR,多模态文档智能差多少。

  • • 未来OCR模型是否会被大模型吃掉。OCR大模型有什么是做不了的。

  • • 在哪些模型上做过一些预训练。

  • • 多模态未来怎么做。

  • • EVA的有趣的现象。没有出现涌现的现象。

  • • 后面的工作主要集中在哪里。

  • • 怎么训练比较好,gemini那种形式,llm那种形式。

PS: 问了很多开放性的问题,给的回复是业务积累不够,hhhh。

美团【offer】

一面:

  • • 文档大模型是一个独立的模型,会整合到一个大模型还是分离式的。

  • • 不考虑通用场景的。

  • • 目前用的多大的模型。

  • • 是一个什么结构。对结构的一些了解。

  • • flamingo或者blip2的结构上的对比。

  • • 足够资源的情况下,哪个结构是最优的。

  • • 分辨率是如何解决的。文档的分辨率比较高。

  • • QA对匮乏如何解决的。

  • • ocr的性能目前是低于多模态大模型。

  • • 如何解决bbox感知能力差的问题。

  • • 充足的算力。数据如何获取。如何有效的清洗。

  • • fuyu这种结构有什么优化的空间。

二面:

  • • OCR文档大模型

  • • Instruction tuning的决定性因素,哪些Instruction tuning策略效果更好。如何评估复杂度的性能。

  • • 如何保证数据集的多样性和复杂度。

  • • 分层的Instruction tuning。

  • • 数量的影响。数量和质量。

  • • 不同类型数据的影响。对下游任务的影响。自动化的数据配比。自动化的指标去做类似的事情。

  • • 专门优化的指标不再是一个好的指标。

  • • 使用其他的指标来引导模型的优化,而不是使用下游的指标。LLM使用的loss,作为指标。而不是benchmark的分数。

  • • 合理的评估指标是什么。openAI的压缩理论,trainnig loss代表优化目标。

  • • AGI的几个阶段,deepmind发表。

三面:

  • • 各种问题

四面:

  • • 介绍自己。

  • • 有一个多模态大模型,具备一些很多baseline的效果,基础的CV能力。可能效果都不是特别好。不如专精的大模型。OCR为例。目标得到一个类似GPT4V的模型,整理提高模型的效果。第二个,全流程,强化ocr能力。已有的多模态大模型。

  • • 文档场景。

阿里控股【PASS】

一面:

这里没什么面经,整体面试体验很差。不考虑继续往下面。

  • • 人非常高傲,傲慢,问问题,满脸的嫌弃

  • • 感觉别人都不行

  • • 觉得自己很强

  • • 文生图

  • • 文生图的畸形,检测的方式。

潞晨科技【PASS】

一面:

  • • 手写self-attention

emmm,但凡面试官是NLP的,面试体验都不太好。如果NLP背景的面试官,面试会比较困难。

夸克【offer】

一面:

  • • 项目

  • • 做题

二面:

  • • 高分辨率的解决方案

  • • 重叠文本框。采用什么方案来解决。

  • • 端到端的OCR是怎么做的。

三面:

  • • 介绍Focus-DETR。

  • • 介绍端到端的OCR。

  • • 介绍多模态大模型。

  • • 小语种数据集采购是为什么。检测数据多了,识别数据少了。

介绍业务规划,偏传统业务,不是大模型方向。

四面:

大佬面,出了一个概率题。

HR面:

  • • 为什么跳槽。

  • • 职业规划。

  • • 为什么有这个绩效和各种奖项。

腾讯-混元大模型【offer】

一面:

  • • 简单描述简历,在做的东西

  • • 图像细节提取有什么办法

  • • 目前的进展是什么样的,项目进展到什么情况

  • • 表格这种数据如何解决,如何对表格这种做有效的信息抽取。

  • • 目前有多少的数据量

二面:

  • • OCR算法

  • • 项目

  • • 介绍文本检测的一些问题如何解决

  • • MAE如何优化,什么鬼问题

三面:

纯聊天,没有太多技术问题。

  • • 多模态大模型,TEG,数据平台事业部。混元大模型。机器学习平台。

阿里巴巴国际部【中止】:

一面:

  • • 题目,旋转图像 Alpha度,

  • • 介绍项目

  • • 介绍Focus-Detr。

二面:

  • • 简单询问项目,很快结束。

PS: 不靠谱,很久没消息。没有后续的任何回复。这种最恶心了,建议大家不要再投。

网易实验室【PASS】

一面:

  • • 自我介绍

  • • 剪枝的工作,Focos-DETR是如何剪枝的。

  • • Transformer相比CNN,相比RNN的优势。

  • • 训练推理,增加吞吐量。

  • • 推理加速。预训练模型的部署推理,优化。

做推理加速的不合适。

Momenta【PASS】

一面:

  • • 手写NMS

  • • 介绍DETR

  • • 介绍Focus-DETR

  • • 介绍position Embedding

  • • 介绍DETR里面query的含义

PS: Momenta属于给钱多,但是比较累的。以后不太想做自动驾驶了,所以pass。不再考虑。

蚂蚁【大模型-codefuse】【HR面挂】

一面: 简单聊项目

二面:

  • • 业务题,如何解决多页文档的问题

  • • 业务题,现在 ui 多模态大模型,ocr 如何引入,目前 ocr 存在很多问题

  • • leetcode 题目,字符串转数字

  • • leetcode 题目,最大子数组和

  • • 多模态大模型的基础知识

三面:

  • • 个人介绍

  • • 部门规模

  • • 论文的情况

  • • 换过部门

  • • 海思做的内容

  • • OCR成熟度很高

面试体验:

面试官都很专业,问了很多问题,感觉很强。在HR面上吃了亏,很多问题没有回答好,吸取了经验,很多问题调整了回答的方式。也反思了自己在过往工作中存在的问题,面对大公司建议HR面认真准备,看看网上的一些经验,阿里的HR有一票否决权。

HR面注意点:

1、跳槽动机:如果是因为晋升不上去看机会,建议这么说:内部机会少,太稳定,想看更有发展的机会,别直接说晋升不上去才看机会,⚠切勿说和leader处不来或者说目前leader坏话。

2、关于薪资: 可以回答看企业安排,或者回答一个区间,保底多少,期望多少,加一句薪资可谈,留足谈判空间,如果企业给的薪资不太满意,⚠别直接拒绝,就说考虑一下,我这边去谈,最后面试结束时,记得感谢下面试官的时间。

3,关于加班: 大厂都大差不差,HR问就是试探⚠切勿说接受不了。

一些参考

社招关于大模型的知识点问到的也是一些常识知识,没有特别难得,更多的还是项目为主。面试其他公司的时候基本没有刷题,因为工作期间面试的,没有太多时间刷题, 只能周末时间。为了准备字节还是刷了一些题,大概60多道,如果是字节的话,还是好好准备刷题, 我有朋友甚至遇到了好几道hard。关于刷题,推荐labuladong的刷题笔记。应该算是最精良了,看这个不用看其他的了。

读者福利:如果大家对大模型感兴趣,这套大模型学习资料一定对你有用

对于0基础小白入门:

如果你是零基础小白,想快速入门大模型是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括:大模型学习线路汇总、学习阶段,大模型实战案例,大模型学习视频,人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型!

😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图,整体分为7个大的阶段:(全套教程文末领取哈)

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

在这里插入图片描述

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
在这里插入图片描述
在这里插入图片描述

👉学会后的收获:👈

• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

👉获取方式:

😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

  • 11
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值