CNN学习日志

CNN卷积神经网络

概念

识别出图像的物体 对应 识别文件中的印章

边缘检测

1. 通过不同的过滤器去检测图像中物体的边缘 图中的sobel和scharr垂直边缘过滤器，增加了中间行的权重，使其具有更好的鲁棒性。
2. 将过滤器设置为不同的参数，通过反向传播算法让过滤器学习，得到更优的边缘检测效果。
3. 不同的参数设置可以检测不同角度的边缘。

填充

为了不使卷积后的图像变得越来越小，可以在被处理的图像外围填充一层像素。

1. 经过3x3的过滤器卷积后，就可以得到和原来图像大小一样的新的图像。
2. 角落信息影响的像素点增强。
3. 填充使图片大小不变 叫做 same convolution 填充的像素大小： n-f+2p+1 = n （f 过滤器的维度 p 填充像素大小）p = (f -1)/2

卷积步长

新图像的大小：(n+2p-f)/s+1 向下取整

三维卷积

1. 过滤器和图像的rgb通道数相同。
2. 卷积时，r g b层对应的数字乘以所覆盖的27个数字再相加得到右边矩阵的左上角第一个数。再逐渐滑动，以此类推。
3. 通过控制过滤器不同通道的参数，可以检测不同的边缘（提取不同的特征）。例如上图例一就是针对红色通道的垂直边缘。
4. 最终得到的图像的通道数（也称为深度）就是所使用的过滤器的个数。因为不同过滤器处理的图像最终通道数只有1，但他们可以叠加共同作为结果输出。

一层神经网络

1. 原始图像作为a^[0] 经过过滤器w^[1]（也称作变量）卷积操作后得到a^[0]w^[1] ，实则为执行了一次线性函数。加上偏差b^[1]后得到了应用激活函数Relu前的值z^[1]。
2. 经过非线性函数，也就是叠加后，得到最后处理后的图像。a^[1] = g(z^[1])。
3. 不过初始a^[0]多大，参数等于(过滤器大小+1)x个数 （1为偏差）避免过度拟合。
4. 符号表示，总结如下：
   

深度神经网络

1. 总体的趋势是：最初图片的大小缩小程度小，到最后缩小到非常小；同时信道的数量逐渐上升。
2. 像上图，最后特征数达到 7x7x40 1960时，把它平滑展开成一个一维向量再填充到softmax回归函数或其他，得到最终结果的过程，就是一次卷积神经网络。
3. 一个卷积神经网络通常包含三层：卷积层，池化层，全连接层。

池化层

用于缩减模型大小，提高计算速度，提高所提取特征的鲁棒性。

1. 最大池化：在过滤器中提取到某个特征，保留其最大值。
2. 信道数>1：每个信道单独执行最大池计算。
3. 平均池化：…，保留其平均值。
4. 超级参数：f =2 , s =2（长、宽各减一半）； f =3，s =2；没有需要学习的参数，反向传播没有参数适用于最大池化，它只是一个静态属性。

卷积神经网络示例

1. 神经网络一层的定义：由于池化层没有权重和参数，不算做一层。但也有文献将池化层视为一层。
2. 池化层的超级参数可以通过他人的文献来进行设置。
3. 总结：
   
   图片的大小逐渐变小，信道数逐渐增加。卷积和池化以后将图像平滑展开与全连接层进行线性操作，最后填入到softmax函数中，得到输出结果。
   

使用卷积的理由

参数共享

一个特征检测器适用于图片的不同部分，不论图片多大，参数的个数始终是跟过滤器有关。

稀疏连接

每个输出值（矩阵的每个数值）的计算仅与原始图像的部分像素相关，其他部分不造成影响。

因为上述两个特点，尽可能减少参数个数，可以用尽量少的训练集去训练它，防止过度拟合。它也具有良好的捕捉平移特征的功能，因为物体在图像中平移，所具有的特征仍没有太大变化。

训练集：x是一张张图片 y是一些重要的标记
经过卷积层、池化层和全连接层后，代入softmax得到输出量。训练神经网络，可以是采用梯度下降法使参数调整，尽可能地减小综合损失J。

实例探究

LeNet-5

AlexNet

它与LeNet-5类似，但是参数多得多，且运用了padding和ReLu激活函数。

VGG-16

残差网络ResNet

1. 一般来说原始图像a^[l]经过两层网络所通过的主路径是先进行线性操作，经过ReLu激活函数得到的结果a^[l+1]输入到下一层 …
2. 将a^[l]直接添加到第二层网络的捷径中，形成一个残差块。
3. 残差网络由一个个残差块组成，在传统神经网络中，由于梯度下降和梯度消失等问题，随着层数的增加，训练的错误会先下降后上升。但在残差网络中，训练的错误会随层度的上升而逐步下降。
   

1x1卷积

Inception网络

给出所有的卷积层和池化层，通过叠加地方式，让网络自行学习得到适合的过滤器。

1. 5x5 same padding 的卷积计算代价 多达1.2亿次计算
   
2. 使用1x1过滤器
   将原始图像压缩到中间（称瓶颈层）再卷积到最终图像，计算成本仅为原来的1/10。
   
3. 一个完整的Inception网络
   下图是一个完整的Inception模块，将这些模块连接在一起组成一个Inception网络。
   
   中间层或隐藏层（softmax）也可以对网络起到调整作用，防止过拟合。
   

---

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 $\Gamma (n)=(n-1)!\forall n\in \mathbb{N}$ 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫