OpenMMLab实战营打卡-第2课

1.介绍

传统方法：设计图像特征（1990s-2000s）

特征工程的天花板

从特征工程到特征学习

层次化特征的实现方式

AlexNet的诞生

2.课程内容

2.1 模型设计

卷积神经网络

轻量化神经网络

神经结构搜索

Transformer

2.1.1 模型介绍

AlexNet（2012）

Going Deeper(2012-2014)

VGG(2014)

GoogleNet(2014)

实验的反直觉

ResNet34:

SeResNet

神经结构搜索

Vision Transformers

ConvNeXt(2022)

2.1.2 轻量化卷积神经网络

卷积的参数量

卷积的计算量

降低模型参数量和计算量的方法

MobileNet V1/V2/V3

ResNeXt 分组卷积

Vision Transformers

注意力机制 Attention Mechanism

1D数据上的Attention

2.2 模型学习

2.2.1 监督学习：基于标注数据学习

损失函数

随机梯度下降算法

视觉模型常用训练技巧

优化目标&随机梯度下降

基于梯度下降训练神经网络的整体流程

学习率与优化器策略

权重初始化

学习率对训练的影响

学习率策略：

学习率退火Annealing

学习率升温

自适应梯度算法

正则化与权重衰减 Weight Decay

模型权重平均 EMA

数据增强 Data Augmentation

组合数据增强 AutoAugment & RandAugment

组合图像 Mixup & CutMix

标签平滑 Label Smoothing

2.2.2 自监督学习：基于无标注的数据学习

基于代理任务

基于对比学习

基于掩码学习