哈工大神经网络第五周总结

全连接网络问题

       链接权过多，算的慢，难收敛，同时可能进入局部极小值，也容易产生过拟合问题。

        解决算的慢问题 ：减少权值连接，每一个节点只连到上一层的少数神经元，即局部连接网络。

       解决浅层全连接网络拟合效果不好、权值过多的问题：网络变深变窄。 信息分层处理，每一层在上层提取特征的基 础上获取进行再处理，得到更高级别的特征。

网络功能概念

卷积神经网络

卷积核-特征提取

       对于所有的下一层节点，卷积核都是一样的，也就是权值相同。

填充和步长

       填充（Padding），也就是在矩阵的边界上填充一些值，以增加矩阵的大小，通常用0或者复制边界像素来进行填充。

       步长（Stride），就是两次卷积之间间隔的步数。

多通道卷积

       输入张量是三维的，卷积核也是三维的，对应位置数进行卷积，得到二维的输出张量。

池化

       在输入张量某个区域内，使用局部统计特征，如均值或最大值作为输出。解决特征过多问题。

基本结构

       由多个卷积层和下采样层构成，后面可连接全连接网络。

bp算法改动

前向传播

反向传播

按权重回传即可

基本神经网络

LeNet-5

C3层卷积时用到了三维卷积，但是第三个维数是这样排布的

AlexNet

AlexNet-出现“多个卷积层+一个池化层”的结构

VGG-16

-网络规模进一步增大，参数数量约为1.38亿

-由于各卷积层、池化层的超参数基本相同，整体结构呈现出规整的特点。

AlexNet