深度学习中的数学---第五章 深度学习和卷积神经网络

深度学习是人工智能的一种实现方法。
本文考察作为深度学习的代表的卷积神经网络的数学结构

1.讲解卷积神经网络的结构

1.深度学习是重叠了很多层的隐藏层（中间层）的神经网络。
这样的神经网络使隐藏层具有一定的结构，从而更加有效的进行学习
下面我们来考察一下卷积神经网络的设计思想
2.具体来说隐藏层是多个由卷积层和池化层构成的层组成的，它不仅“深”而且含有内置的结构
3.卷积神经网络和简单的神经网络比，优点：
·1.对于复杂的模式识别问题，也可以用简洁的网络来处理
·2.整体而言，因为神经单元的数量少了，所以计算比较轻松

2.翻译为卷积神经网络的语言

1.相似度汇总一下，就是根据过滤器s得到的卷积的结构，称为特征映射
2.通过池化进行信息压缩
最有名的信息压缩方法：最大池化，具体来说就是将划分好的个区域的最大值提取出来。

3.卷积神经网络的变量关系式

1.要确定一个卷积神经网络，就必须具体的确定过滤器以及权重，偏置。为此，我们需要用数学式来表示这些参数之间的关系

位置	符号	含义
输入层	$x_{ij}$	神经单元中输入的图像像素（i行j列）的值。与输出值相同
过滤器	$w_{ij}^{Fk}$	用于建立第k个特征映射的过滤器的i行j列的值。
卷积层	$z_{ij}^{Fk}$	卷积层第k个字层的i行j列的神经单元的加权输入
-	$b^{Fk}$	卷积层第k个字层的i行j列的神经单元的偏置，注意这些偏置在各个特征映射中是相同的
-	$a_{ij}^{Fk}$	卷积层第k个字层的i行j列的神经单元的输出（激活函数的值）
池化层	$z_{ij}^{pk}$	池化层第k个字层的i行j列的神经单元的输入
-	$a_{ij}^{pk}$	池化层第k个字层的i行j列的神经单元的输出
输出层	$w_{k-ij}^{On}$	从池化层第k个字层的i行j列的神经单元指向输出层第n个神经单元的箭头的权重
-	$z_n^o$	输出层的第n个神经单元的加权输入
-	$b_n^o$	输出层的第n个神经单元的偏置
-	$a_n^o$	输出层的第n个神经单元的输出（激活函数的值）

2.输入层
3.过滤器和卷积层
4.池化层
5.输出层
6.求代价函数$C_T$

5.卷积神经网络和误差反向传播法

1.确立关系式
·1.卷积层
$$\begin{gathered} z_{ij}^{Fk}=w_{11}^{Fk}{x}_{ij}+w_{12}^{Fk}{x}_{ij+1}+w_{13}^{Fk}{x}_{ij+2} \\ +w_{21}^{Fk}{x}_{i+1j}+w_{22}^{Fk}{x}_{i+1j+1}+w_{23}^{Fk}{x}_{i+1j+2} \\ +w_{31}^{Fk}{x}_{i+2j}+w_{32}^{Fk}{x}_{i+2j+1}+w_{33}^{Fk}{x}_{i+2j+2}+b^{Fk} \end{gathered}$$
$a_{ij}^{Fk}=a(z_{ij}^{Fk})$
·2.池化层
$z_{ij}^{Pk}=Max(a_{2i-12j-1}^{Pk},a_{2i-12j}^{Pk},a_{2i2j-1}^{Pk},a_{2i2j}^{Pk})$
$a_{ij}^{Pk}=z_{ij}^{Pk}$
·3.输出层
$a_n^o=a(z_n^o)$
·4.平方误差
C = 1 2 { ( t 1 − a 1 o ) 2 + ( t 2 − a 2 o ) 2 + ( t 3 − a 3 o ) 2 } C=\frac{1}{2}\{(t_1-a_1^o)^2+(t_2-a_2^o)^2+(t_3-a_3^o)^2\} C=21​{(t1​−a1o​)2+(t2​−a2o​)2+(t3​−a3o​)2}
2.梯度下降法是基础
关于过滤器的偏导数
关于输出层神经单元的权重的偏导数
关于卷积层神经单元的偏置的偏导数
关于输出层神经单元的偏置的偏导数
梯度的偏导数计算非常麻烦，因此相处了误差反向传播法，具体来说就是将梯度分量的偏导数计算控制到最小限度，并通过递推关系式进行计算
3.省略变量符号中的附带的图像编号
4.${\delta }_j^l$的导入和偏导数的关系
5.${\delta }_j^l$表示关于输出层神经单元的梯度分量
6.${\delta }_j^l$表示关于卷积层神经单元的梯度分量
7.计算输出层的$\delta$
8.建立关于卷积层神经单元误差$\delta$的“反向”递推关系式