【AI大模型】相关知识梳理

为了系统性梳理AI，大模型，训练和推理，数学，机器学习，python等基础知识，并在此基础上深入理解经典论文，本人将持续更新有关这些方向的基础知识博客，博客 将保持一如既往的 通俗易懂的风格。并且结合代码来深入理解。

Transformer

• 基本概述
• Tokenization
• Position Embedding
• BN，LN和RMSNrom
• Post-Norm和Pre-Norm
• Self-Attention
• Multi-head Attention
• Residual & FFN
• Masked Attention
• Cross Attention

大模型结构，训练和推理

大模型结构

• 不同结构的区别（encoder-only，decoder-only，encoder-decoder）
• Weight tying 及其求导过程
• 不同数据类型的区别（bf16，fp16，fp32）
• 大模型参数量的计算
• 大模型输出参数配置
• 大模型输出采样策略

大模型训练

• 常规训练流程及其区别
• 大模型训练时显存占用分析
• 分布式训练-数据并行（DP,DDP,Deepspeed Zero）
• 分布式训练-张量并行
• GPU基本原理
• Flash attention原理
• 梯度检查点
• 高效参数微调（以Lora为例）
• 偏好对齐（以DPO为例）

大模型推理

• Kv cache
• mqa，gqa，mla的区别
• Output 价格比 input价格更贵的原因
• vllm推理库的原理

经典论文

• GPT系列
• llama系列

多模态大模型理解和生成

多模态基础模型

• Vit
  • 实现方式
  • 位置编码
• Clip
  • clip的原理
  • siglip与clip的区别

多模态理解

• blip2
• Qwenvl
• Llava
• Internvl
• minicpm
• 大图切分
• 转接层的实现方式
• 视觉token压缩

多模态生成

• 生成模型的发展（ae，vae，ddpm，sd，dit）
• opensora

机器学习基础和常考面试题目

• 使用numpy实现神经网络全流程
• 过拟合
• 正则化
• 标准化/归一化
• 梯度消失和梯度爆炸
• 优化器的原理
• 常见损失函数

数学基础和常考面试题目

• 概率论
• 线性回归
• 动态规划

计算机和数据结构基础和常考面试题目

• 进程和线程
• 栈和队列
• 二叉树
• 图论
• 堆
• 排序

Python基础和常考面试题目

• 深拷贝和浅拷贝，python对应的实现
• Python gil锁
• 注册器