分类理论基础（五）

分类理论基础

(PS:深度学习其实就是各种神经网络的应用）

卷积

’卷‘即卷积核匹配原图的过程，匹配最后的图称为特征图（当然，原图也可称特征图，特征图可以迭代），’积‘即图像抽象成矩阵做点积.

对于一张图片 卷积核(对比神经网络里的神经元)就是3×3×3 （即27个乘积）判断标准就是各自对应的图层的矩阵相点乘得到27个乘积相加得到一个值，不妨记这个值为,那么所有的构成的即为特征图

zero paddidng操作（原始图片周围加一圈0）为了保持原始图和特征图的尺寸保持一致

卷积的动态演化

中间的部分就是卷积核在作用

1.1 隋唐小测(理解具体的应用过程)

小测1

小测2

那么问题来了，我们用卷积的目的就是简化参数，之后把图片拉直好用神经网络（即卷积到全连接），如下图，那对于一个基本的分类神经网络来说，通过变小特征图就可以达到简化参数的目的

即一个基本的分类神经网络为

怎么backward?

1.2 如何变小特征图

1.扩大卷积步长

转化成卷积的数学形式就是

计算方法

但这个方法并不好，详见

2.依靠Pooling:池化

原理显而易见，即用一个数表示四个数，这里介绍两种池化方法

*最大池化：优先选取池化窗口（2×2）中最大的数值

*平均池化：池化窗口四个数求和取平均

1.3 分类任务的loss函数

1.函数

以为例，即

2.交叉熵损失函数

对于多分类的交叉熵损失函数

举个栗子

btw,大家有没有注意到多分类的交叉熵损失函数长得很像最似然函数？其实这两者有一定联系，实际上，最似然函数也是一种损失函数。

1.4 一些经典的数据图片集介绍

• MNIST数据集，最入门的手写数字识别项目
• Cifar10数据集--10分类
• ImageNET--上百万张及要求分成1024类的一个比赛，很多著名的模型在此诞生，比如接下来要说的AlexNet
• CoCo数据集

1.5 Dropout和归一化

两者对比

实际应用

名词解释&问题示例

1.卷积，卷积核，感受野

2.Zero paddidng

3.如果要把特征图变小，为什么通常不采用扩大卷积步长的方法？

4.Sota模型