mooc-深度学习基础-笔记

前言

课程连接：深度学习基础_哈尔滨工业大学

第一章 深度学习概述

1.1 深度学习的引出

假如采用全连接网络进行图像分类

卷积神经网络具有以下特点： 

（1）局部卷积

滑动窗口：卷积核、滤波器或是特征检测器

输出特征图中每个像素实际上是输入图像中局部区域中像素的加权平均

（2）参数共享

• 在上面的局部连接中，右边每个神经元都对应3*3=9个参数（卷积核） ，这9个参数就是共享的。 
• 可以将这9个参数看成是卷积提取特征的方式，该方式与位置无关。

（3）多卷积核

（4）池化操作

通常是取对应位置的最大值（最大池化）、平均值（ 平均池化）等

池化的优点：

1）降维；

2）克服过拟合；

3）在图像识别领域，池化 还能提供平移和旋转不变性。

（5）多层处理

一层卷积及降采样往往只学到了局部的特 征。

层数越多，学到的特征越全局化。因此通过这样的多层处理，低级的特征组合形成更高级的特征表示。

1.2 数据集及其拆分

LeNet‐5‐‐卷积层C1

卷积核：6个卷积核（核大小为5*5），输出6个大小为28*28的特征图 ，对应6种局部特征

训练参数个数：有5*5=25个unit参数和一个bias参数 ，所以共有(5*5+1)*6=156个参数

连接数目：156 *(28*28)=122,304个连接

LeNet‐5‐‐降采样层S2

目的：降低网络训练参数及克服模型过拟合

模型：Max-Pooling、Mean-Pooling

每个单元与上一层的 2*2 领域连接（滑动 窗口为2*2）所以S2层的size是C1层的1/4

卷积层C3

C3卷积层：每个特征图只与上一层 S2中部分特征图相连接。

• 多通道16核卷积，有16个卷积核，输出16个特征图
• 大小为5*5
• 每个大小为(14-5+1)×(14-5+1) = 10×10。

LeNet‐5‐‐降采样层S4

S4层有16个5*5的特征图，其每个单元与上一层的 2*2 邻域连接（滑动窗口 为2*2）。所以S4层的size是C3层的1/4

LeNet‐5‐‐卷积层C5