神经网络与深度学习课程总结2

（1）深度学习平台介绍

（2）卷积神经网络基础

1.进化史

2.基本概念

全连接网络：链接权过多，难算难收敛，同时可能进入局部极小值，也容易产生过拟合问题。

局部连接网络：顾名思义，只有一部分权值连接。
部分输入和权值卷积。

填充：也就是在矩阵的边界上填充一些值，以增加矩阵的大小，通常用0或者复制边界像素来进行填充。
步长：如图步长为2
卷积神经网络结构：
构成：由多个卷积层和下采样层构成，后面可连接全连接网络。
卷积层：k个滤波器。
下采样层：采用mean或max。
后面：连着全连接网络。

3.图像卷积的基本原理

抛出两个骰子，这两个骰子的结果和为4的概率和可以表示成一维卷积：

类似地，可以定义二维卷积为：

计算过程：滤波器f(x,y)左右，上下翻转，得到f(-x,-y)。再按照前述公式计算卷积。
前向传播定义：
当第l层为卷积＋池化层

4.LeNet-5网络

![请添加图片描述](https://img-blog.csdnimg.cn/16e49d81861d4e33952c6b75ee533ca8.png
C1层由6个Feature map构成，每个神经元对输入进行55卷积，每个神经元对应55+1个参数，共6个feature map，2828个神经元，因此共有(55+1)6(2828)=122,304连接。

S2层（pooling层）
C3层（卷积层）
S4层与S2层工作原理相同
C5层一共有120个神经元，每个神经元同样对输入进行55卷积，与S4全连接，总连接数(55*16+1)*120=48120。

F6层一共有84个神经元，与C5全连接，总连接数(120+1)*84=10164。

输出层由欧式径向基函数单元构成，每类一个单元，输出RBF单元计算输入向量和参数向量之间的欧式距离。