神经网络与深度学习（课程记录）

3基本卷积神经网络

3.1AlexNet

网络结构

网络说明

        网络一共有8层可学习层——5层卷积层和3层全连接层

改进

        -池化层均采用最大池化

        -选用ReLU作为非线性环节激活函数

        -网络规模扩大，参数数量接近6000万

        -出现“多个卷积层+一个池化层”的结构

普遍规律

        -随网络深入，宽、高衰减，通道数增加

 

改进：输入样本

最简单、通用的图像数据变形的方式

从原始图像（256,256）中，随机的crop出 一些图像（224,224）。【平移变换，crop 】

• 水平翻转图像。【反射变换，flip】

• 给图像增加一些随机的光照。【光照、彩 色变换，color jittering】

改进：激活函数

采用ReLU替代 Tan Sigmoid

用于卷积层与全连接层之后

 

改进：Dropout

在每个全连接层后面使用一个 Dropout 层,以概率 p 随机关闭激活函数

改进：双GPU策略

3.2 VGG-16

网络结构

 网络说明

改进

        -网络规模进一步增大，参数数量约为1.38亿

         -由于各卷积层、池化层的超参数基本相同，整体结构呈现出规整的特点。

普遍规律

        -随网络深入，高和宽衰减，通道数增多。

 3.3残差网络

非残差网络的缺陷

残差网络的优势

梯度消失问题

残差块

 

普通网络的基准模型受VGG网络的启发

卷积层主要有3×3的过滤器，并遵循两个简单的设计规则:

①对输出特征图的尺寸相同的各层，都有相同数量的过滤器;

②如果特征图的大小减半，那么过滤器的数量就增加一倍，以保证每一层的时间复杂度相同。

ResNet模型比VGG网络更少的过滤器和更低的 复杂性。ResNet具有34层的权重层，有36亿 FLOPs，只是VGG-19（19.6亿FLOPs）的18%。

 

 

 3.4常用数据集

MNIST

MNIST 数据集主要由一些手 写数字的图片和相应的标签组成，图片一共有 10 类，分别对应从 0~9

MNIST数据集是由0〜9手写数字图片和数字标签所组成的，由60000个训练样本和10000个测试样 本组成，每个样本都是一张28 * 28像素的灰度手写数字图片。

Fashion-MNIST数据集

FashionMNIST 是一个替代 MNIST 手写数字集的图像数据集。 它是由 Zalando旗下的研究部门提供，涵盖了来自 10 种类别的 共 7 万个不同商品的正面图片。

FashionMNIST 的大小、格式和训练集/测试集划分与原始的 MNIST 完全一致。60000/10000 的训练测试数据划分，28x28 的灰度图片。你可以直接用它来测试你的机器学习和深度学习算法性能，且不需要改动任何的代码。

 以下是数据集中的类，以及来自每个类的10个随机图像：

CIFAR-10数据集

CIFAR-10数据集由10个类的60000个32x32彩色图像组成，每个类有6000个图像。有50000个训练图像和10000个测试图像

数据集分为五个训练批次和一个测试批次，每个批次有10000 个图像。测试批次包含来自每个类别的恰好1000个随机选择的图像

 以下是数据集中的类，以及来自每个类的10个随机图像：

 

 

 PASCAL VOC数据集

 PASCAL的全称是Pattern Analysis, Statistical Modelling and Computational Learning

VOC的全称是Visual Object Classes

目标分类(识别)、检测、分割最常用的数据集之一

第一届PASCAL VOC举办于2005年，2012年终止。常用的是 PASCAL 2012

 

PASCAL VOC数据集

一共分成20类：

person

bird, cat, cow, dog, horse, sheep

aeroplane, bicycle, boat, bus, car, motorbike, train

bottle, chair, dining table, potted plant, sofa, tv/monitor

 

MS COCO数据集

PASCAL的全称是Microsoft Common Objects in Context，起源于微软于2014年出资标注的Microsoft COCO数据集

数据集以scene understanding为目标，主要从复杂的日常场景中截取

包含目标分类(识别)、检测、分割、语义标注等数据集

ImageNet竞赛停办后，COCO竞赛就成为是当前目标识别、检测等领域的一个最权威、最重要的标杆

官网：http://cocodataset.org

ImageNet数据集

始于2009年，李飞飞与Google的合作： “ImageNet: A Large-Scale Hierarchical Image Database”

总图像数据：14,197,122 

总类别数：21841

带有标记框的图像数：1,034,908

 

ISLVRC 2012子数据集

训练集：1,281,167张图片+标签

类别数：1,000

验证集：50,000张图片+标签

测试集：100,000张图片