在深入大模型之前，理解其基础知识是至关重要的。以下是大模型相关的一些基础而又关键的概念和面试常见问题。

基础知识点

一、transformer
  2. Self-Attention的表达式

  3. 大模型面试准备（二）基础知识点_人工智能

  4. 为什么上面那个公式要对QK进行scaling
  5. self-attention一定要这样表达吗？
  6. 有其他方法不用除根号吗？
  7. 为什么transformer用Layer Norm？有什么用？
  8. 为什么不用BN？
  9. Bert为什么要搞一个position embedding？
  10. Bert为什么三个embedding可以相加？
  11. transformer为什么要用三个不一样的QKV？
  12. 为什么要多头？举例说明多头相比单头注意力的优势
  13. 为什么Bert中要用WordPiece/BPE这样的subword Token？
  14. Bert中为什么要在开头加个[CLS]?
  15. 不用[CLS]的语义输出，有其他方式可以代替吗？
  16. Bert中有哪些地方用到了mask?
  17. 预训练阶段的mask有什么用？
  18. attention中的mask有什么用？（BERT中）
  19. decoder中的mask有什么用？
  20. Bert中self attention 计算复杂度如何？
  21. 有什么技术降低复杂度提升输入长度的？
  22. Bert是如何处理传统方法难以搞定的溢出词表词(oov)的语义学习的？
  23. 中文是如何处理溢出词表词(oov)的语义学习的？
  24. 为什么以前char level/subword level的NLP模型表现一般都比较差，但是到了bert这里就比较好？
  25. Bert为什么要使用warmup的学习率trick
  26. 为什么说GPT是单向的Bert是双向的？
  27. Bert如何处理一词多义？
  28. Bert中的transformer和原生的transformer有什么区别？
  29. Albert是通过什么方法压缩网络参数的？有什么问题？
二、attention计算方式以及参数量，attention layer手写
三、NLU以及NLG各种任务的差异。
四、tokenizer的细节，tokenizer的计算方式，各种tokenizer的优缺点。
五、各种norm方式的优缺点。
六、bert参数量的推演，任何一个transformer结构参数量的推演，和显存占用关系的推演。