计算机视觉算法实习生

SVM

目标
寻找一个超平面，将样本分为几类。

什么是支持向量？
距离分类超平面最近的几个样本点，这几个样本点对于超平面的选定贡献最大。

超平面的计算

https://baijiahao.baidu.com/s?id=1671535528667762528&wfr=spider&for=pc

过拟合的出现及其预防

https://zhuanlan.zhihu.com/p/72038532

定义：
过拟合是指训练误差和测试误差之间的差距太大。换句换说，就是模型复杂度高于实际问题，模型在训练集上表现很好，但在测试集上却表现很差。模型对训练集"死记硬背"，泛化能力差。

成因：
1、训练数据集样本单一，样本不足。
2、模型过于复杂。

防止：

1. 获取和使用更多的数据（数据集增强）——解决过拟合的根本性方法。比如：旋转图像、缩放图像、随机裁剪、加入随机噪声、平移、镜像等方式来增加数据量

2. 采用合适的模型（控制模型的复杂度）
   根据奥卡姆剃刀法则：在同样能够解释已知观测现象的假设中，我们应该挑选“最简单”的那一个。对于模型的设计而言，我们应该选择简单、合适的模型解决复杂的问题。

3. 降低特征的数量
   对于一些特征工程而言，可以降低特征的数量——删除冗余特征，人工选择保留哪些特征。这种方法也可以解决过拟合问题。

4. Dropout
   Dropout 指的是在训练过程中每次按一定的概率（比如50%）随机地“删除”一部分隐藏单元（神经元）。所谓的“删除”就是将该部分神经元的激活函数设为0（激活函数的输出为0），让这些神经元不计算而已。

5. Early stopping（提前终止）
   对模型进行训练的过程即是对模型的参数进行学习更新的过程，这个参数学习的过程往往会用到一些迭代方法，如梯度下降（Gradient descent）。Early stopping是一种迭代次数截断的方法来防止过拟合的方法，即在模型对训练数据集迭代收敛之前停止迭代来防止过拟合。

Why ResNet？

Resnet到底在解决一个什么问题呢？
https://www.zhihu.com/question/64494691/answer/786270699

神经网络叠的越深，则学习出的效果就一定会越好吗？
答案无疑是否定的，人们发现当模型层数增加到某种程度，模型的效果将会不升反降。也就是说，深度模型发生了退化（degradation）情况。

退化原因：梯度消失和梯度爆炸

解决方法：
1、加上Bacth Normalization(简称BN)，控制每层输入的模值。

2、ResNet
模型退化的原因：假设一个比较浅的网络已经可以达到不错的效果，那么即使之后堆上去的网络什么也不做，模型的效果也不会变差。
然而事实上，这却是问题所在。“什么都不做”恰好是当前神经网络最难做到的东西之一。

也许赋予神经网络无限可能性的“非线性”让神经网络模型走得太远，却也让它忘记了为什么出发。这也使得特征随着层层前向传播得到完整保留（什么也不做）的可能性都微乎其微。用学术点的话说，这种神经网络丢失的“不忘初心”/“什么都不做”的品质叫做恒等映射（identity mapping）。

因此，可以认为Residual Learning的初衷，其实是让模型的内部结构至少有恒等映射的能力。以保证在堆叠网络的过程中，网络至少不会因为继续堆叠而产生退化！

1X1的卷积

https://zhuanlan.zhihu.com/p/40050371

升、降维：
当输入为6x6x32时，1x1卷积的形式是1x1x32，当只有一个1x1卷积核的时候，此时输出为6x6x1。
此时便可以体会到1x1卷积的实质作用：降维。当1x1卷积核的个数小于输入channels数量时，即降维。

增加非线性、跨通道信息的交互
1*1卷积核，可以在保持feature map尺度不变的（即不损失分辨率）的前提下大幅增加非线性特性（利用后接的非线性激活函数），把网络做的很deep。

模型微调：

卷积神经网络核心：
1、浅层网络提取基础特征，比如边缘、轮廓。
2、深层网络提取抽象特征，比如整个脸型。
3、全连接层根据特征组合进行分类评估。

所以，可以微调。