图像分类与基础视觉模型（听课笔记2）

超越规则：让机器从数据中学习
1、收集数据，2、定义模型，3、训练，4、预测
机器学习的局限
图像--》人工设计的算法--〉特征向量--》机器学习--〉分类
特征工程的天花板
从特征工程到特征学习
图像-计算梯度-统计梯度-分类
层次化特征的实现方式
卷积神经网络，多头注意力，transformer
alexnet的诞生&深度学习时代的开始

课程内容：
图像分类的数据表示
1、模型设计：卷积神经网络，轻量化卷积神经网络，神经结构搜索，transformer，设计合适图像的Fe（x）
精度退化问题，实验的反直觉，残差学习的基本思路，
残差网络resnet
更强的分类模型：神经结构搜索，vision transformers，convnext
可分离卷积，mobilenet，resnext中的分组卷积
注意力机制attention mechanism，swin transformer
2、模型学习：监督学习，自监督学习
模型学习的范式，交叉熵损失
基于提督下降训练神经网络的整体流程
训练技巧的重要性
学习率与优化策略
学习率对训练的影响
学习率策略：学习率退火annealing，学习率升温warmup
数据增强data augmentation，低成本扩展数据集
组合图像mixup& cutmix
标签平滑label smoothing

自监督学习的常见类型
simCLR
masked autoencoders