Deep Learing -- Two

前言：今天的课余时间相对充裕，所以学习任务进行的相对较多，早晨主要进行深度学习入门教学视频课程的学习，下午查阅并精读医学图像方面的论文，晚上大致了解了Tensorflow框架，并通过具体的代码初步体验了基于Tensorflow框架的卷积神经网络。下面就有关部分作出详细的解释：

 

一. 视频教学课程的学习（51CTO学院课程，共105课时，每一课时大概20分钟左右）

 

目标：学习第22-31课时（卷积神经网络），了解卷积神经网络的原理，理解代码的具体实现过程

完成情况：已完成

1.卷积神经网络（CNN）概述

    卷积神经网络是一种前馈型神经网络, 受生物自然视觉认知机制启发而来的。现在, CNN 已经成为众多科学领域的研究热点之一, 特别是在模式分类领域, 由于该网络避免了对图像的复杂前期预处理, 可以直接输入原始图像, 因而得到了更为广泛的应用，可应用于图像分类, 目标识别, 目标检测, 语义分割等等。卷积神经网络通常包含卷积层、池化层和全连接层。

（1）.卷积层

    卷积神经网络中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。

    理解卷积的一个简单方法是考虑作用于矩阵的滑动窗函数。在下面的例子中，给定输入矩阵 I 和核 K，得到卷积输出。将 3×3 核 K（有时称为滤波器或特征检测器）与输入矩阵逐元素地相乘以得到输出卷积矩阵中的一个元素。所有其他元素都是通过在 I 上滑动窗口获得的：

                                                                 

                                                                        图1.卷积运算的一个例子：用粗体表示参与计算的单元

    在这个例子中，一触及 I 的边界就停止滑动窗口（所以输出是 3×3）。或者，可以选择用零填充输入（以便输出为 5×5），这是有关填充的选择。
    另一个选择是关于滑窗所采用的滑动方式的步幅。步幅可以是 1 或大于 1。大步幅意味着核的应用更少以及更小的输出尺寸，而小步幅产生更多的输出并保留更多的信息。

滤波器的大小、步幅和填充类型是超参数，可以在训练网络时进行微调。

（2）.池化层

     池化（pool）即下采样（downsamples），目的是为了减少特征图，主要作用是通过减少网络的参数来减小计算量，并且能够在一定程度上控制过拟合。通常在卷积层的后面会加上一个池化层。池化操作对每个深度切片独立，规模一般为 2＊2，相对于卷积层进行卷积运算，池化层进行的运算一般有以下几种： 
     * 最大池化（Max Pooling）。取4个点的最大值。这是最常用的池化方法。 
     * 均值池化（Mean Pooling）。取4个点的均值。 
     * 高斯池化。借鉴高斯模糊的方法。不常用。 
     * 可训练池化。训练函数 ff ，接受4个点为输入，出入1个点。不常用。

最常见的池化层是规模为2*2， 步幅为2，对输入的每个深度切片进行下采样。每个MAX操作对四个数进行，如下图所示： 

                                                            

                                                                                 图2.池化过程图

   **池化操作将保存深度大小不变。如果池化层的输入单元大小不是二的整数倍，一般采取边缘补零（zero-padding）的方式补成2的倍数，然后再池化。

（3）.全连接层

    全连接层是传统的多层感知器，在输出层使用的是 softmax 激活函数（也可以使用其他像 SVM 的分类器）。“全连接（Fully Connected）”这个词表明前面层的所有神经元都与下一层的所有神经元连接。  

    卷积和池化层的输出表示了输入图像的高级特征。全连接层的目的是为了使用这些特征把输入图像基于训练数据集进行分类。

    除了分类，添加一个全连接层也（一般）是学习这些特征的非线性组合的简单方法。从卷积和池化层得到的大多数特征可能对分类任务有效，但这些特征的组合可能会更好。

    从全连接层得到的输出概率和为 1。这个可以在输出层使用 softmax 作为激活函数进行保证。softmax 函数输入一个任意大于 0 值的矢量，并把它们转换为0~1之间的数值矢量，其和为1。

    卷积 + 池化层的作用是从输入图像中提取特征，而全连接层的作用是分类器。

完整的卷积网络实现过程：