大厂上来就手撕 Transformer，心凉了一半。。。

最新推荐文章于 2024-09-11 17:02:51 发布
最新推荐文章于 2024-09-11 17:02:51 发布
阅读量868 收藏 18
点赞数 18
分类专栏： 大模型 文章标签： transformer 深度学习 人工智能 多模态大模型 大模型 面试题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59596990/article/details/141096786
版权

最近这一两周看到不少互联网公司都已经开始秋招提前批了。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。

最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。

《AIGC 面试宝典》圈粉无数！
《大模型面试宝典》(2024版) 发布！

喜欢本文记得收藏、关注、点赞。更多实战和面试交流，欢迎交流

我们星球一球友跟我微信聊天，说最近去一家大厂面试，上来就手撕 Transformer，费了九牛二虎之力，心情凉一半。。。

这两年，特别是大模型出来后，关于 Transformer 的面试题很多，也特别新。

今天我分享18道 Transformer 高频面试题，希望对你有所帮助。

  1. 位置编码有哪些？

  2. ViT为什么要分patch？

  3. 介绍Transformer和ViT

  4. 介绍Transformer的Q,K,V

  5. 介绍Layer Normalization

  6. Transformer训练和部署技巧

  7. 介绍自注意力机制和数学公式

  8. 画图说明 Transformer 基本流程

  9. 介绍Transformer的Encoder模块

  10. 介绍Transformer的Decoder模块

  11. Transformer和Mamba（SSM）的区别

  12. Transformer中的残差结构以及意义

  13. 为什么Transformer适合多模态任务？

  14. Transformer的并行化体现在哪个地方？

  15. 为什么Transformer一般使用LayerNorm？

  16. Transformer为什么使用多头注意力机制？

  17. Transformer训练的Dropout是如何设定的？

  18. Transformer 模型中的自注意力机制是如何工作的？

技术交流

在这里插入图片描述

用通俗易懂的方式讲解系列

机器学习社区
关注
专栏目录
算法面试-深度学习基础面试题整理-AIGC相关（2023.9.01）
一位不是很硕的鉴伪方向硕士
09-01 4025
包括了ChatGPT （文本到文本的对话模型）与 DALL-E-2（文本到图像的生成模型） ， Codex（文本到代码的生成模型） ，Dreamfusion （文本到3D图像）， Flamingo（图像到文本），Phenaki （文本到视频），AudioLM（文本到音频），Galactica（文本到科学文本），AlphaTensor（自动搜索高性能的矩阵运算逻辑）等模型。为了能够训练这些巨大的模型，必须拥有强大的计算能力和一支技术精湛、经验丰富的数据科学和数据工程团队。2、如何改善GAN的模式坍塌？
不愧是快手，这 AIGC 算法面试题有点难度
机器学习社区
07-20 780
最近这一两周看到不少互联网公司都已经开始秋招提前批了。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。
AIGC时代算法工程师的面试秘籍（2024.5.13-5.26第十四式） |【三年面试五年模拟】
欢迎大家关注我
06-23 831
【三年面试五年模拟】将陪伴大家度过整个AI行业职业生涯。
【内含答案】AIGC-大模型产品经理高频面试32题大揭秘‼️
ytt0523_com的博客
05-01 1189
【内含答案】AIGC-大模型产品经理高频面试32题大揭秘‼️
小米 AIGC 大模型实习面试题4道|含解析
2201_75499313的博客
03-22 1242
BiLSTM-CRF是一种用于序列标注任务的神经网络模型，结合了双向长短期记忆网络（BiLSTM）和条件随机场（CRF）。双向长短期记忆网络（BiLSTM）：BiLSTM是一种循环神经网络变种，能够有效地捕捉输入序列中的长期依赖关系。通过同时考虑输入序列的正向和反向信息，BiLSTM可以更好地理解整个序列的语境。条件随机场（CRF）：CRF是一种概率图模型，常用于序列标注任务。它能够对序列中的标记进行全局建模，利用标记之间的依赖关系来提高标注的一致性和准确性。
2023微博AIGC算法工程师一面 面试题
学姐带你玩AI的博客
12-09 2044
介绍实习项目, 聊的比较详细，但是我实习项目限制比较多，做的不够深入。IOU是交并比，图像的交集除以图像的并集 变种: GIOU DIOU CIOU。
大厂上来就手撕 Transformer，心凉一半。。。
机器学习社区
07-08 649
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型技术趋势、算法项目落地经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。这两天求职群分享了很多大厂的计算机视觉算法的面试真题，其中就有“手撕Transformer”：要知道近年来特别出现了很多（毕竟当前AI顶流）。这里），希望对你有所帮助。位置编码有哪些？
程序员生存图鉴：公司中层、私活接单、自由职业者？哪个更适合
2301_78234743的博客
04-22 554
1、base地：北京，东莞，深圳，上海，南京，西安，成都，武汉，长沙等华为研究所2、java、Pyt。没怎么问问题，求求别是kpi1.自我介绍2.毕业时间，为什么还在面试3.看我投的是杭州的岗位，问为什。要疯了要疯了要疯了要疯了要疯了要疯了要疯了要疯了要疯了要疯了要疯了要疯了要疯了要疯了要疯了要疯了要疯。商用车技术中心是最后投的，投了没两天就发短信了，但是发完短信到现在也一个月没动静了，面试的影子都见不。刚刚收到了湖北移动和电信的面试通知，都是25号，移动是早上9点，电信没给具体的时间，但好像应该也是在。
AIGC大模型面经汇总，太全了！
lhx17673139267的博客
07-24 1082
1.上来没有自我介绍2.直接介绍NeurIPS论文，中间穿插着一些提问3.说一下Transformer的整体结构4.了解有哪些位置编码方式吗5.说一下LLaMA中的旋转位置编码6.算法题：经典的求平方根，牛顿迭代法秒了7.算法题：判断一个字符串能否由另一个字符串旋转而来，比如abcd旋转后可以变成dabc或者bcda等，写完后面试官要求O(1)，临时没想出来8.详细说了快手的用户推荐算法实习，主要做了些什么9.你的NeurIPS论文能和推荐那边结合起来吗。
AIGC时代算法工程师的面试秘籍（2024.6.24-7.7第十七式） |【三年面试五年模拟】
欢迎大家关注我
07-16 1284
【三年面试五年模拟】将陪伴大家度过整个AI行业职业生涯。
MySQL的索引和Hash索引、B+、B树
最秃不过程序员的博客
08-27 1689
索引： 索引是一种特殊的文件(InnoDB数据表上的索引是表空间的一个组成部分)，包含着数据表里所有记录的引用的指针，同时还是一种数据结构，用来以协助快速查询、更新数据库表中数据，通常使用B+树。 索引优缺点： 优点：可以大大加快数据的检索速度，这也是创建索引的最主要的原因，通过使用索引，可以在查询的过程中，使用优化隐藏器，提高系统的性能。 缺点：创建索引和维护索引要耗费时间，具体地，当对表中的数据进行增加、删除和修改的时候，索引也要动态的维护，会降低增/改/删的执行效率；占用物理空间。 索引的基本原理：把
pycharm调试知识， 线程进程与深度学习
小泽爱刷题的博客
09-10 1180
多线程在深度学习中主要用于I/O 密集型任务，如数据加载和预处理，以防止数据成为训练过程中的瓶颈。多进程常用于克服 GIL 的限制，处理 CPU 密集型任务，以及在分布式训练中并行化模型训练。GPU 并行计算是深度学习的核心，主要负责大规模矩阵运算和模型训练，并行性是由 GPU 硬件架构提供的，而不是通过 Python 的多线程机制。因此，深度学习中多线程的应用主要集中在数据加载、推理服务和辅助任务，而核心计算则由 GPU 完成并行化处理。多进程。
【Python机器学习】循环神经网络（RNN）——审察模型内部情况
weixin_39407597的博客
09-10 626
Keras附带了一些工具，比如model.summary()，用于审察模型内部情况。随着模型变得越来越复杂，我们需要经常使用model.summary()，否则在调整超参数时跟踪模型内部的内容的变化情况会变得非常费力。
深度学习：怎么看pth文件的参数
weixin_59815450的博客
09-07 498
你需要有创建这个.pth文件时所用的模型的代码。这意味着你需要有模型的类定义和架构。
LSTM处理时序数据：深入解析与实战
异构算力老群群（在读985计算机博士生）的技术博客
09-10 1077
LSTM，全称为Long Short-Term Memory，是一种特殊的RNN结构，旨在解决传统RNN在处理长序列时容易出现的梯度消失或爆炸问题。LSTM通过引入“门”机制和细胞状态，使得网络能够更好地保留长期记忆。
如何将卷积神经网络（CNN）应用于医学图像分析：从分类到分割和检测的实用指南
loveting99的博客
09-07 1009
U-Net：U-Net是一种用于生物医学图像分割的卷积网络。它的关键特点是具有对称的编码器-解码器结构和跳跃连接（skip connections），可以更好地保留和利用图像的空间信息。DeepLab：DeepLab使用空洞卷积（dilated convolutions）来扩展卷积核的感受野，同时保持图像的分辨率，并结合条件随机场（CRFs）进一步精细化分割结果。：YOLO通过将图像划分为网格，并在每个网格中预测边界框和类别，具有实时检测的优势。
如何理解深度学习的训练过程
qq_61033357的博客
09-11 295
这是模型在训练过程中通过数据自动学习的参数，主要是卷积层的权重和偏置。比如卷积核内部的权重（Conv2d中的weights和bias）会随着训练数据的输入和误差的反馈不断更新。以yolov5为例子，训练的目的是把一组输入猫狗图像放到神经网络中，得到一个输出模型，这个模型下次可以直接用来识别哪个是猫，哪个是狗。这些参数是在反向传播过程中由优化器（如Adam、SGD等）自动调整的，目的是使模型更好地拟合训练数据。步长（stride）：决定卷积操作在输入特征图上的移动幅度，影响输出的特征图大小。
对抗性EM用于变分深度学习：在低剂量PET和低剂量CT中的半监督图像质量增强应用|文献速递--Transformer架构在医学影像分析中的应用
最新发布
weixin_38594676的博客
09-11 917
在PET中 𝛾 = 0.5）：(i) N2N+UNet，(ii) N2N+UNet+Adv，在N2N+UNet中加入对抗学习，(iii) N2N+UNet+DistLat，在N2N+UNet的潜在空间中加入基于EM的分布建模，(iv) N2N+UNet+DistOut，在N2N+UNet的解码器输出处加入GG分布建模，(v) ss-NonAdv-EM，将DistLat和DistOut都加入N2N+UNet，(vi) ssAdvEM，在ss-NonAdv-EM中加入对抗学习。图 2. 结果：定量分析。
深度学习驱动的车牌识别：技术演进与未来挑战
XU157303764的博客
09-09 1658
YOLOv5 在车牌识别中有着广泛的应用。例如在违章停车车牌识别的实践中，首先准备车牌检测的数据集，采用简单的文本格式存储车牌的位置和标签信息，每个图像的标注信息存储在与图像同名的.txt 文件中。然后创建数据集配置文件，告知模型如何加载数据集。训练时选择 YOLOv5s 模型，经过参数设置后进行训练，训练完成后模型权重保存在特定目录下。在车牌识别阶段，加载训练好的模型对图像进行车牌检测，将检测结果绘制在图像上展示。
手撕transformer
09-28
手撕Transformer是指通过自己编写代码实现一个Transformer模型，而不是直接使用现有的Transformer框架或库。手撕Transformer的过程可以帮助我们更好地理解Transformer模型的原理和细节。 要手撕Transformer，首先需要了解Transformer模型的基本结构和原理。Transformer由编码器（Encoder）和解码器（Decoder）组成，每个部分又包含多个层，每个层都有自注意力机制和前馈神经网络。编码器将输入序列映射为一系列的隐藏表示，解码器则通过这些隐藏表示生成目标序列。 下面是手撕Transformer的一些步骤： 1. 定义模型的超参数，如词嵌入的维度、注意力头数、隐藏层的维度等。 2. 编写自注意力机制的代码，包括计算注意力权重、计算上下文向量等。 3. 编写前馈神经网络的代码，包括全连接层和激活函数等。 4. 定义编码器和解码器的代码，将多个自注意力层和前馈神经网络层堆叠起来。 5. 实现模型的前向传播函数，将输入序列通过编码器和解码器得到输出序列。 6. 定义损失函数，常用的是交叉熵损失函数。 7. 实现反向传播函数，计算梯度并更新模型的参数。 8. 使用训练数据对模型进行训练，并调整超参数以提高性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值