AI基础知识

神经网络模型：
卷积神经网络：用卷积核做卷积操作、步长stride、padding

1. 缩小特征值的大小
2. 自动将主要的信息提取出来
3. 信息转义（将图像特征信息转换为位置信息）

循环神经网络：输出层、隐藏层、输入层
基本RNN：循环网络的基本构成、LSTM：解决简单RNN面临的长期依赖的问题、GRU、NTM

Transformer：编码和解码说

传统机器学习：数据预处理 -> 特征提取 -> 选择分类器
深度学习：数据预处理 -> 设计模型 -> 训练

TensorFlow、pytorch框架

数据准备：
开源数据集（爬虫）：mnist手写体数据集、coco数据集、ImageNet、Open Images、VisualQA
数据标注
数据分配：训练集、验证集、测试集（6:2:2）或训练：测试=7:3
大规模数据集：99.5:0.3:0.2或98:1:1

数据预处理：
归一化：原始数值（0-255）int8
图像灰度化
伸缩变换

模型训练：
神经网络构成：输入层、卷积层、激活函数、BN层、池化层、输出层
激活函数：sigmoid（0_{1）、Tanh（-1}1）、ReLu（缓解了梯度消失的问题）、Leaky Relu、ELU、GELU（大模型transform里用的多）
BN层：
池化层：最小池化、平均池化、最大池化
均方差损失loss
平均绝对误差损失
交叉熵损失
学习率
反向传播
优化函数
L1/L2正则化
过拟合
Dropout防止过拟合
梯度消失和梯度爆炸
Softmax
残差网络
LSTM长短期记忆网络

常用的深度学习框架：PaddlePaddle（百度的）、PyTorch（Facebook开源的）、TensorFlow（谷歌开源的）

LeNet有7层，

VGG、ResNet、Yolo、Fastrcnn、Unet、Maskrcnn、Gan对抗生成网络、Diffusers