如果你的到Transformer面试达到这种水平？

AI劳模

于 2024-09-26 17:23:51 发布

阅读量279

点赞数 4

文章标签： transformer 深度学习人工智能 AI大模型自然语言处理大模型 transformer模型

本文链接：https://blog.csdn.net/2401_85373396/article/details/142566869

版权

在这里插入图片描述

1.Transformer为何使用多头注意力机制?(为什么不使用一个头)
2.Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘?(注意和第一个问题的区别)
3.Transformer计算attention的时候为何选择点乘而不是加法?两者计算复杂度和效果上有什么区别?
4.为什么在进行softmax之前需要对attention进行scaled(为什么除以dk的平方根)，并使用公式推导进行讲解
5.在计算注意力分数的时候如何对padding做mask操作?
6.为什么在进行多头注意力的时候需要对每个头进行降维?(可以参考上面一个问题)
7.大概讲-下Transformer的编码器模块?
8.为什么在获取输入词之后需要对矩阵乘以嵌入大小的开方?意义是什么?
9.简单介绍-下Transformer的位置编码?有什么意义和优点?
10.你还了解哪些关于位置编码的技术，各自的优缺点是什么?

11.简单讲-下Transformer中的残差结构以及意义。
12.为什么transformer块使用LayerNorm而不是BatchNorm?LayerNorm在Transformer的位置是哪里?
13.简答讲-下BatchNorm技术，以及它的优点。
14.简单描述-下Transformer中的前馈神经网络?使用了什么激活函数?相关优缺点?
15.Encoder端和Decoder端是如何进行交互的?(这里可以问一下关于seq2seq的注意知识)
16.解码器阶段的多头自注意力和编码器的多头自注意力有什么区别?(为什么需要解码器自注意力需要进行序列掩码)
17.Transformer的玩具化提现在哪个地方?Decoder端可以做玩具化吗?
18.简单描述-下wordpiece模型和字节对编码，有实际应用过吗?
19.Transformer训练的时候学习率是如何设定的?Dropout是如何设定的，位置在哪里?Dropout在测试时需要有什么需要注意的吗?
20.引电一个关于bert问题，bert的面具不学习变压器在注意力处为何进行提高分数的技巧?

在这里插入图片描述