大模型面试准备（二）基础知识点

在深入大模型之前，理解其基础知识是至关重要的。以下是大模型相关的一些基础而又关键的概念和面试常见问题。

基础知识点

一、transformer

1. Self-Attention的表达式
   

2. 为什么上面那个公式要对QK进行scaling

3. self-attention一定要这样表达吗？

4. 有其他方法不用除根号吗？

5. 为什么transformer用Layer Norm？有什么用？

6. 为什么不用BN？

7. Bert为什么要搞一个position embedding？

8. Bert为什么三个embedding可以相加？

9. transformer为什么要用三个不一样的QKV？

10. 为什么要多头？举例说明多头相比单头注意力的优势

11. 为什么Bert中要用WordPiece/BPE这样的subword Token？

12. Bert中为什么要在开头加个[CLS]?

13. 不用[CLS]的语义输出，有其他方式可以代替吗？

14. Bert中有哪些地方用到了mask?

15. 预训练阶段的mask有什么用？

16. attention中的mask有什么用？（BERT中）

17. decoder中的mask有什么用？

18. Bert中self attention 计算复杂度如何？

19. 有什么技术降低复杂度提升输入长度的？

20. Bert是如何处理传统方法难以搞定的溢出词表词(oov)的语义学习的？

21. 中文是如何处理溢出词表词(oov)的语义学习的？

22. 为什么以前char level/subword level的NLP模型表现一般都比较差，但是到了bert这里就比较好？

23. Bert为什么要使用warmup的学习率trick

24. 为什么说GPT是单向的Bert是双向的？

25. Bert如何处理一词多义？

26. Bert中的transformer和原生的transformer有什么区别？

27. Albert是通过什么方法压缩网络参数的？有什么问题？

二、attention计算方式以及参数量，attention layer手写

三、NLU以及NLG各种任务的差异。

四、tokenizer的细节，tokenizer的计算方式，各种tokenizer的优缺点。

五、各种norm方式的优缺点。

六、bert参数量的推演，任何一个transformer结构参数量的推演，和显存占用关系的推演。

有需要全套的AI大模型面试题及答案解析资料的小伙伴，可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】