AlexNet
ImageNet 2012 图像识别挑战赛冠军。
Relu激活函数
dropout
Local Response Normalization,归一化。
ResNet
提出residual(残差结构)模块。
超深的网络结构(超过1000层)。
使用Batch Normalization加速训练(不需要使用dropout)。
Vit
MAE
BERT+Vit
MOCO
自监督
Swin Transformer
transformer + fpn 用于视觉领域。
CLIP
预训练好后就可以直接用,不需要重新训练。
预训练是使用配对的文本与图片,预测时计算类别与图片的距离,理论上类别数量没有限制。
双流网络
视频理解
I3D
视频理解,直接使用图片处理的相关网络就好。