在深入大模型之前,理解其基础知识是至关重要的。以下是大模型相关的一些基础而又关键的概念和面试常见问题。
基础知识点
一、transformer
-
Self-Attention的表达式
-
为什么上面那个公式要对QK进行scaling
-
self-attention一定要这样表达吗?
-
有其他方法不用除根号吗?
-
为什么transformer用Layer Norm?有什么用?
-
为什么不用BN?
-
Bert为什么要搞一个position embedding?
-
Bert为什么三个embedding可以相加?
-
transformer为什么要用三个不一样的QKV?
-
为什么要多头?举例说明多头相比单头注意力的优势
-
为什么Bert中要用WordPiece/BPE这样的subword Token?
-
Bert中为什么要在开头加个[CLS]?
-
不用[CLS]的语义输出,有其他方式可以代替吗?
-
Bert中有哪些地方用到了mask?
-
预训练阶段的mask有什么用?
-
attention中的mask有什么用?(BERT中)
-
decoder中的mask有什么用?
-
Bert中self attention 计算复杂度如何?
-
有什么技术降低复杂度提升输入长度的?
-
Bert是如何处理传统方法难以搞定的溢出词表词(oov)的语义学习的?
-
中文是如何处理溢出词表词(oov)的语义学习的?
-
为什么以前char level/subword level的NLP模型表现一般都比较差,但是到了bert这里就比较好?
-
Bert为什么要使用warmup的学习率trick
-
为什么说GPT是单向的Bert是双向的?
-
Bert如何处理一词多义?
-
Bert中的transformer和原生的transformer有什么区别?
-
Albert是通过什么方法压缩网络参数的?有什么问题?
二、attention计算方式以及参数量,attention layer手写
三、NLU以及NLG各种任务的差异。
四、tokenizer的细节,tokenizer的计算方式,各种tokenizer的优缺点。
五、各种norm方式的优缺点。
六、bert参数量的推演,任何一个transformer结构参数量的推演,和显存占用关系的推演。
有需要全套的AI大模型面试题及答案解析资料的小伙伴,可以微信扫描下方CSDN官方认证二维码,免费领取【
保证100%免费
】