20190430

以下为阅读笔记：深度学习-基于keras的python实践-魏贞原

什么叫做epoch？
经过一次完整的向前传播和反向传播，整个网络中的所有参数更新了一次，这叫做一个epoch。即，完成一轮网络的更新叫做一个epoch。一次网络的更新指的是网络中的所有参数都更新了一次。

使用每个训练中的错误结果计算更新网络中的权重，被称为在线学习。这可能会导致网络快速而混乱的变化。作为改进方法，在所有训练过程中保存结果误差，并在最后更新网络权重，这被称为批量学习，通常更稳定。通常数据集非常大，为了提高计算效率，在网络更新时，使用少量样本对权重进行更新，也就是说，设置一个相对较小的批处理大小（batch_size）来进行更新权重。与权重相关的参数，动量（Momentum），学习率衰减量（Learning Rate Decay ）。

动量（Momentum）：不合适的初始值，可能使得网络的损失函数在训练过程中陷入局部最小值，达不到全局最优状态。动量参数的设定可以在一定程度上消除这种不确定性。

学习率衰减量（Learning Rate Decay ）：学习率随着训练的进行逐渐衰减。假如刚开始选定了某个确定的学习率，但是训练集的损失函数在下降到一定程度之后就不再下降，此时，可以适当减小学习率。但是降低学习率又会延长训练所需的时间。Learning Rate Decay就是一种可以平衡二者之间矛盾的一种解决方案。

多层深度神经网络的拓扑结构和权重集都是需要保存的模型数据。多层深度神经网络训练的主题依然是优化和泛化。多层深度神经网络因其表示能力大幅增加，更容易出现过拟合。常见的防止过拟合的方法有：正则化技术，dropout技术，数据增强（Data-Augumentation）和GAN。

relu不是传统的非线性函数，是分段线性函数

k者交叉验证是机器学习模型评估的黄金标准。但通常不用于评估深度学习模型。因为后者计算开销太大。当问题足够小，或者有足够的计算资源时，k折交叉验证可以相对比较准确的报告评估结果。

深度学习模型的调参可以借助scikit-learn中的网格搜索算法来评估

深度学习中各种优化算法（optimizer）的比较

dropout的提出论文： 2014，dropout：A simple way to prevent neural networks from overfitting。就是在训练过程中，随机的忽略部分神经元。也就是说，在正向传播过程中，这些被忽略的神经元对下游神经元的贡献效果暂时消失，在反向传播时，这些神经元也不会有任何权值的更新。原文对dropout能够有效提高泛化能力做了一个非常精彩的类比：有性繁殖战胜了无性繁殖，而且后代的基因从父母各继承一半，基因的能力在于混合基因的能力而非单个基因的能力。原文翻译：here。经过验证：dropout=0.5时候效果最好。但一般使用最多的是0.2，也就是有20%的神经元被随机丢弃，只保留80%。dropout也可以用在输入层，作为一种添加噪声的方法。也就是在输入层和隐藏层都可以使用droupout。（发现这个人翻译了好多深度学习有关的经典论文，厉害了。here。而且最近一次更新是在三天之前。）

在可能出现过拟合的网络层使用dropout。当前Dropout被大量用于全连接网络，而且一般人为设置为0.5或者0.3，而在卷积隐藏层由于卷积自身的稀疏化以及稀疏化的ReLu函数的大量使用等原因，Dropout策略在卷积隐藏层中使用较少。总体而言，Dropout是一个超参，需要根据具体的网路，具体的应用领域进行尝试。参考droupout为何有效

卷积神经网络的好处：
1.相比全连接神经网络使用较少的参数（权重）来学习
2.忽略需要识别的对象在图片中的位置和失真的影响
3.自动学习和获取输入域的特征

卷积神经网络的基本结构包含两部分：一是特征提取层，二是特征映射层（激活函数）。由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。

池化层的作用：池化层主要对卷积得到的特征图（feature map）进行压缩，一方面使得特征图变小，简化计算复杂度，另一方面进行特征压缩，提取主要特征。采用池化层可以忽略目标的倾斜、旋转之类的相对位置变化，提高精度，同时降低特征图的维度，并且在一定程度上避免了过拟合。池化层通常非常简单，取平均值或者最大值来创建自己的特征图。

全连接层在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层等操作是将原始数据映射到隐藏层的特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。

Pandas库之DataFrame的常用操作
pandas.read_csv参数详解 巨多参数啊

OneHotEncoder独热编码和 LabelEncoder标签编码