tensorflow实战——经典的卷积神经网络

自编码器简介：
深度学习提取的是频繁出现的特征；特征是需要不断抽象的，它从见到的微观特征开始，不断抽象特征的层级，逐渐网复杂的宏观特征转变。
特征的稀疏表达：使用少量的基本特征组合拼装得到更高层抽象的特征
Hinton的思路就是先用自编码器的方法进行无监督的预训练，提取特征并初始化权重，然后使用标注信息进行监督式的学习。

层数越多，神经网络所需要的隐含节点可以越少。

层数较深的神经网络的缺点：容易过拟合，参数难以调试，梯度弥散
防止过拟合的方法：
①dropout:大致思路是，在训练时，将神经网络某一层的输出节点数据随机丢弃；实质上等于创造了很多新的随机样本

梯度弥散：当神经网络层数较多时，Sigmoid函数在反向传播中梯度值会逐渐减小，导致根据训练数据的反馈来更新神经网络的参数将会十分缓慢。

RELu对比Sigmoid的主要变化有如下
①单侧抑制
②相对宽阔的兴奋边界
③稀疏激活性

卷积神经网络的应用：
①图像和视频
②时间序列信号
③音频信号
④文本数据

卷积层的几个操作：
①Wx+b
②进行非线性的激活函数处理（ReLU函数）
③池化：即降采样，将2x2图片降为1x1的图片；目前使用最大池化，保留最显著的特征，提升模型的畸变容忍能力

定义一个神经网络的四个步骤：
①定义算法公式，也就是神经网络forward时的计算
②定义loss,选定优化器，并制定优化器优化loss
③迭代地对数据进行训练
④在测试集或验证集上对准确率进行评测

为什么要减少需要训练的权重数量：
①降低计算的复杂度
②过多的连接会导致严重的过拟合

减少权重数量的方法：
①局部连接：每一个神经元只需要接收局部的像素点作为输入，而不是全部像素点的信息。
②卷及操作：默认每个隐含节点的参数都完全一样；一个卷积核只能提取一种卷积核滤波的结果们可以增加卷积核的数量来多提取一些特征。
隐含节点的数量：输入像素的数量/（步长x步长）

卷积神经网络的药店：局部连接；权值共享；池化层的降采样

解决因特征过多而导致过拟合的解决方法：一般可以通过减少特征或者惩罚不重要特征的权重来缓解这个问题。为了使用某种特征，我们需要付出loss的代价，除非这个特征非常有效。
奥卡姆剃刀法则：越简单的东西越有效。

一般来说，L1正则会制造系数的特征，大部分无用的特征的权重会被置为0；L2正则会让特征的权重不过大，使得特征的权重比较平均

第六章：
VGGNet训练的小技巧：先训练级别A的简单网络，再复用A网络的权重来初始化后面的几个复杂模型，这样训练手链的速度更快
VGGNet总结：
①LRN层的作用不大
②越深的网络效果越好
③大一些的卷积核可以学习更大空间特征

Google Inception Net的改进：
①去除了最后的全连接层，用全局平均池化层；
②精心设计的Inception Module提高了参数利用效率
1x1的卷积是一个非常优秀的结构，它可以跨通道组织信息，提高网络的表达能力，同时可以对输出通道升维和降维。
Inception Modeule中包含了不同尺寸的卷积和一个最大池化，增加了网络对不同尺度的适应性。
Hebbian原理：一起发射的神经元会连在一起，学习过程中的刺激会是神经元间的突触强度增加。
在同一空间但在不同通道的卷积核的输出结果相关性极高，这就是1x1卷积被频繁使用的原因。
③使用到了辅助分类节点：将中间某一层的输出用作分类，并按一个较小的权重(0.3)加到最终分类结果中。这样相当于做了模型融合，同时给网络增加了反向传播的梯度信号，也提供了额外的正则化。
④使用了一步的SGD训练，学习速率每迭代八个epoch降低4%/采用数据增强的方法，在不同的采样数据上训练七个模型进行融合。

V2:
Batch Normalization方法：对每一个mnni-batch数据的内部进行标准化处理，使输出规范到N(0,1)的正态分布，减少了内部神经元分布的改变。同时增大学习速率并加快学习衰减速度以使用BN规范化后的数据；去除Dropout并减轻L2正则;去除LRN;减少数据增强过程中对数据的光学畸变；更彻底的shuffle

V3的改进：
Factorization into small convolutions:将一个较大的二维卷积拆成两个较小的一维卷积

ResNet网络：
HightWay Network:前面一层的信息，有一定比例可以不经过矩阵乘法和非线性变换，直接传输到下一层，仿佛一条信息高速通道
ResNet相当于将学习目标改变了，不在是学习一个完整的输出H(x),只是输出和输入的差别H(x)-x，即残差。ResNet有很多旁路的支线将输入直接连到后面的层，使得后面的层可以直接学习残差。