面试情况
投过的公司:淘天,字节,蚂蚁,商汤,美团,夸克,腾讯,minimax,零一万物,阿里控股,潞晨科技,阿里巴巴国际,网易实验室,Momenta。
Offer:淘天,字节AML,商汤,蚂蚁,美团,夸克,腾讯混元,天翼云。
以下是面经分享
淘天【offer】
部门:未来生活实验室
介绍: 淘天集团的大模型研究将主要围绕两个场景展开:一是搜广推,二是逛逛的内容化。团队组建工作由淘天集团CEO戴珊、淘天集团CTO若海、阿里妈妈CTO郑波等人共同牵头。
面经
一面:
-
• 如何训练ocr任务
-
• 实验的setting
-
• ocr任务影响如何
-
• 高分辨率训练,再在小分辨率上,会不会崩掉
-
• 输出bbox有没有好的方式
HR面:
-
• 基本信息确认
-
• 考研进入电子科技大,为什么
-
• 为什么进入了诺亚
-
• 代表性的工作
-
• 如何解决问题的,国内在做语言大模型的多一些。
-
• 国内在做多模态大模型的
-
• 如何评测,评估这些大模型的。如何看待刷榜的问题。
-
• 你们的衡量指标
面试体验
面试体验很好。HR也没有那么咄咄逼人。阿里味不是特别明显。最终权衡也选择来了淘天,有兴趣来我们这边的欢迎投递简历,有卡(****张)。
字节AML【offer】
部门:AML火山方舟大模型
介绍: 淘天集团的大模型研究将主要围绕两个场景展开:一是搜广推,二是逛逛的内容化。团队组建工作由淘天集团CEO戴珊、淘天集团CTO若海、阿里妈妈CTO郑波等人共同牵头。介绍链接。
预备面经
猎头也提供了一些其他候选人的面经, 整理如下:
-
• 设计一个Hash表
-
• 蓄水池问题
-
• 从超大文本文件中随机行采样
-
• 二叉搜索树-去掉超出[m, n]范围内的节点
-
• 计算交叉熵
-
• 计算IOU
一面:
-
• 多模态你们的流程
-
• 你们的OCR的结构
-
• layernorm的区别
二面:
-
• 什么时间开始做多模态模型
-
• 目前在文档
-
• Token长度太大。高分辨率如何解决。
-
• patch能不能变得
-
• VQGAN
-
• GPT4V的结构形式。
-
• LLM decoder
-
• MagViT
-
• LLM的基础知识需要尽快补上
三面:
-
• 自我介绍
-
• 多模态大模型用哪个模型
-
• Transformer比较熟悉
-
• python实现self attention和Transformer
面试体验
字节一如既往的注重coding,基本每一面两道题,自己能拿到offer也算是运气吧。一面的面试体验很差,可以说是毫无面试经验的面试官。
商汤【offer】:
一面:
-
• 简单的自我介绍
-
• 关于高分辨率的解决办法
-
• OCR是如何去做的,有没有grounding,Referring
-
• GPT4V 位置,检测明显的问题
-
• 你们是如何解决位置信息的
-
• 新的模态进来,如何去拼接过来
-
• 新来一批数据,如何训练
-
• tree1是否是tree2的子树
二面:
-
• AGI缺不了视觉
-
• 工业场景,人的检测,奇怪的零件,机器的检测。检测的结果,需要理解人的行为。理解和context的关系。人和环境的关系。借助多模态来解决
-
• 自驾,感知端,到决策端,感知不需要全面的感知,着重额感知需要
-
• 假新闻,图是真的。caption场景
-
• OCR,街景的OCR,文档,网页截图等是不同的,这些场景混在一起。会有影响吗?
-
• OCR的方案,一般是先出检测框,再出文本。不规则的文本,如何解决
-
• 多模态大模型的OCR
-
• Qwen-VL的文本检测形似,是否合理
-
• 模型本身的三种能力
-
• 自己的能力,认识什么
-
• LISA:借助decoder来做,用新的prompt来实现分割。】
-
• 外挂RAG等。
-
• 判断左右括号(),等组成的字符串是否是合法的
二面结束,问题不大。
三面:
- • Leader面,聊了一些有的没的
面试体验
面试过程很专业,毕竟是商汤,算法技术是国内领先的,奈何没产品,而且薪资包也没有诚意。
蚂蚁风控大模型【offer】
一面:
-
• 自我介绍
-
• 介绍Focus-DETR,有没有在业务中应用。
二面:
-
• 介绍
-
• 目前在做的事情
-
• 下游的任务,文档场景,再做一个什么任务
-
• ocr数据是如何生成的
-
• 效果如何
-
• 如何解决幻觉的问题
HR面:
-
• 具体的工作内容,印象
-
• 安全内容,tob的内容审核。竞对。
-
• 个人介绍。
-
• 上海海思,为什么跳槽
-
• 算法支撑
MiniMax:【挂】
一面:
-
• 空间感知能力是如何解决的
-
• 不同token长度是否有做balance的方式
-
• 很多有价值的问题。
-
• python实现标题 MLP Regressor 题目描述 题目描述与要求:实现一个MLP regressor 的完整训练过程,包括:forward , backward , SGD更新参数;验证backward梯度正确性;构建数据,验证端到端正确性 (收敛&泛化);(optional) 参考你过往的实验经验,尽可能让功能更完善;不使用第三方库中已实现好的自动求导方法;P.S. 实现方法不限,但由于在线IDE运行环境不稳定,推荐使用numpy。
PS: 面试官对算法底层了解比较深入,比较考验代码能力,不是字节那种。
零一万物【挂】
一面:
-
• 多模态的情况。
-
• document的难度。
-
• 手写 self attention
二面:
-
• 自我介绍
-
• 传统的OCR模型和多模态大模型的区别
-
• 带不带OCR,多模态文档智能差多少。
-
• 未来OCR模型是否会被大模型吃掉。OCR大模型有什么是做不了的。
-
• 在哪些模型上做过一些预训练。
-
• 多模态未来怎么做。
-
• EVA的有趣的现象。没有出现涌现的现象。
-
• 后面的工作主要集中在哪里。
-
• 怎么训练比较好,gemini那种形式,llm那种形式。
**PS:**问了很多开放性的问题,给的回复是业务积累不够,hhhh。
美团【offer】
一面:
-
• 文档大模型是一个独立的模型,会整合到一个大模型还是分离式的。
-
• 不考虑通用场景的。
-
• 目前用的多大的模型。
-
• 是一个什么结构。对结构的一些了解。
-
• flamingo或者blip2的结构上的对比。
-
• 足够资源的情况下,哪个结构是最优的。
-
• 分辨率是如何解决的。文档的分辨率比较高。
-
• QA对匮乏如何解决的。
-
• ocr的性能目前是低于多模态大模型。
-
• 如何解决bbox感知能力差的问题。
-
• 充足的算力。数据如何获取。如何有效的清洗。
-
• fuyu这种结构有什么优化的空间。
二面:
-
• OCR文档大模型
-
• Instruction tuning的决定性因素,哪些Instruction tuning策略效果更好。如何评估复杂度的性能。
-
• 如何保证数据集的多样性和复杂度。
-
• 分层的Instruction tuning。
-
• 数量的影响。数量和质量。
-
• 不同类型数据的影响。对下游任务的影响。自动化的数据配比。自动化的指标去做类似的事情。
-
• 专门优化的指标不再是一个好的指标。
-
• 使用其他的指标来引导模型的优化,而不是使用下游的指标。LLM使用的loss,作为指标。而不是benchmark的分数。
-
• 合理的评估指标是什么。openAI的压缩理论,trainnig loss代表优化目标。
-
• AGI的几个阶段,deepmind发表。
三面:
- • 各种问题
四面:
-
• 介绍自己。
-
• 有一个多模态大模型,具备一些很多baseline的效果,基础的CV能力。可能效果都不是特别好。不如专精的大模型。OCR为例。目标得到一个类似GPT4V的模型,整理提高模型的效果。第二个,全流程,强化ocr能力。已有的多模态大模型。
-
• 文档场景。
阿里控股【PASS】
一面:
这里没什么面经,整体面试体验很差。不考虑继续往下面。
-
• 人非常高傲,傲慢,问问题,满脸的嫌弃
-
• 感觉别人都不行
-
• 觉得自己很强
-
• 文生图
-
• 文生图的畸形,检测的方式。
潞晨科技【PASS】
一面:
- • 手写self-attention
emmm,但凡面试官是NLP的,面试体验都不太好。如果NLP背景的面试官,面试会比较困难。
夸克【offer】
一面:
-
• 项目
-
• 做题
二面:
-
• 高分辨率的解决方案
-
• 重叠文本框。采用什么方案来解决。
-
• 端到端的OCR是怎么做的。
三面:
-
• 介绍Focus-DETR。
-
• 介绍端到端的OCR。
-
• 介绍多模态大模型。
-
• 小语种数据集采购是为什么。检测数据多了,识别数据少了。
介绍业务规划,偏传统业务,不是大模型方向。
四面:
大佬面,出了一个概率题。
HR面:
-
• 为什么跳槽。
-
• 职业规划。
-
• 为什么有这个绩效和各种奖项。
腾讯-混元大模型【offer】
一面:
-
• 简单描述简历,在做的东西
-
• 图像细节提取有什么办法
-
• 目前的进展是什么样的,项目进展到什么情况
-
• 表格这种数据如何解决,如何对表格这种做有效的信息抽取。
-
• 目前有多少的数据量
二面:
-
• OCR算法
-
• 项目
-
• 介绍文本检测的一些问题如何解决
-
• MAE如何优化,什么鬼问题
三面:
纯聊天,没有太多技术问题。
- • 多模态大模型,TEG,数据平台事业部。混元大模型。机器学习平台。
阿里巴巴国际部【中止】:
一面:
-
• 题目,旋转图像 Alpha度,
-
• 介绍项目
-
• 介绍Focus-Detr。
二面:
- • 简单询问项目,很快结束。
PS: 不靠谱,很久没消息。没有后续的任何回复。这种最恶心了,建议大家不要再投。
网易实验室【PASS】
一面:
-
• 自我介绍
-
• 剪枝的工作,Focos-DETR是如何剪枝的。
-
• Transformer相比CNN,相比RNN的优势。
-
• 训练推理,增加吞吐量。
-
• 推理加速。预训练模型的部署推理,优化。
做推理加速的不合适。
Momenta【PASS】
一面:
-
• 手写NMS
-
• 介绍DETR
-
• 介绍Focus-DETR
-
• 介绍position Embedding
-
• 介绍DETR里面query的含义
PS: Momenta属于给钱多,但是比较累的。以后不太想做自动驾驶了,所以pass。不再考虑。
蚂蚁【大模型-codefuse】【HR面挂】
一面: 简单聊项目
二面:
-
• 业务题,如何解决多页文档的问题
-
• 业务题,现在 ui 多模态大模型,ocr 如何引入,目前 ocr 存在很多问题
-
• leetcode 题目,字符串转数字
-
• leetcode 题目,最大子数组和
-
• 多模态大模型的基础知识
三面:
-
• 个人介绍
-
• 部门规模
-
• 论文的情况
-
• 换过部门
-
• 海思做的内容
-
• OCR成熟度很高
面试体验:
面试官都很专业,问了很多问题,感觉很强。在HR面上吃了亏,很多问题没有回答好,吸取了经验,很多问题调整了回答的方式。也反思了自己在过往工作中存在的问题,面对大公司建议HR面认真准备,看看网上的一些经验,阿里的HR有一票否决权。
HR面注意点:
1、跳槽动机:如果是因为晋升不上去看机会,建议这么说:内部机会少,太稳定,想看更有发展的机会,别直接说晋升不上去才看机会,⚠切勿说和leader处不来或者说目前leader坏话。
2、关于薪资: 可以回答看企业安排,或者回答一个区间,保底多少,期望多少,加一句薪资可谈,留足谈判空间,如果企业给的薪资不太满意,⚠别直接拒绝,就说考虑一下,我这边去谈,最后面试结束时,记得感谢下面试官的时间。
3,关于加班: 大厂都大差不差,HR问就是试探⚠切勿说接受不了。
一些参考
社招关于大模型的知识点问到的也是一些常识知识,没有特别难得,更多的还是项目为主。面试其他公司的时候基本没有刷题,因为工作期间面试的,没有太多时间刷题, 只能周末时间。为了准备字节还是刷了一些题,大概60多道,如果是字节的话,还是好好准备刷题, 我有朋友甚至遇到了好几道hard。关于刷题,推荐labuladong的刷题笔记。应该算是最精良了,看这个不用看其他的了。
选择offer过程中也是各种权衡,考虑很多因素,也咨询了很多朋友,面临offer选择困难的朋友也可以咨询作者本人。
作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习、大厂面试题集锦等资源免费分享出来。
以上的AI大模型学习资料,都已上传至CSDN,需要的小伙伴可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
![](https://img-blog.csdnimg.cn/img_convert/8f1dca5f0ca811e0188a6949588730bd.jpeg)
一、大模型全套的学习路线
学习大型人工智能模型,如GPT-3、BERT或任何其他先进的神经网络模型,需要系统的方法和持续的努力。既然要系统的学习大模型,那么学习路线是必不可少的,下面的这份路线能帮助你快速梳理知识,形成自己的体系。
L1级别:AI大模型时代的华丽登场
L2级别:AI大模型API应用开发工程
L3级别:大模型应用架构进阶实践
L4级别:大模型微调与私有化部署
一般掌握到第四个级别,市场上大多数岗位都是可以胜任,但要还不是天花板,天花板级别要求更加严格,对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。
以上的AI大模型学习路线,不知道为什么发出来就有点糊,高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
![](https://img-blog.csdnimg.cn/img_convert/8f1dca5f0ca811e0188a6949588730bd.jpeg)
二、640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
三、大模型经典PDF籍
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
以上的AI大模型学习资料,都已上传至CSDN,需要的小伙伴可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
![](https://img-blog.csdnimg.cn/img_convert/8f1dca5f0ca811e0188a6949588730bd.jpeg)
作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。