深度学习学习笔记

神经网络的隐含层越多、模型参数越多，模型拟合能力更强，同时训练的难度也会增加。

减少模型参数的方法有两种：逐层训练和权重共享。权重共享思路是现有深度学习的基础，它大大减少了模型的参数。

深度学习并不需要很多的人工特征工程，利用其强大的建模能力来代替，整个训练的过程是端到端的过程（End-to-End）；其次深度学习模型参数居多，训练过程中需要大量的训练样本。

深度学习多层网络可以将数据进行多层映射，进行逐层学习。在卷积神经网络网络中底层网络可以学习到图像的底层信息，如边缘和角点，高层网络可以学习到图像的直接和复杂形状。

深度学习比较适用于非结构数据，适合解决有 “语义鸿沟” 的问题。当然也不是说神经网络不能做结构化数据任务，它在非结构化数据比较占优。

能够直接改网络结构，能够动手训练网络。

培养业务思维，试着从业务和用户的角度去看一个算法模型。

深度学习：常见的模型结构、常见的网络层、优化器、训练技巧；

全连接网络

全连接网络（Full Connected，FC）是基础的深度学习模型，它的每一个神经元把前一层所有神经元的输出作为输入，其输出又会给下一层的每一个神经元作为输入，相邻层的每个神经元都有“连接”。

深度学习的正则化

在机器学习中，正则化是指基于增强模型泛化能力的先验知识。深度学习拥有较多的参数，如果没有正则化技术，模型很容易陷入过拟合状态。深度学习的正则化技术包括参数正则化、Dropout、EarlyStop、数据增强、梯度裁剪和标签平滑等技术。

1. Dropout
   Dropout 是指在深度学习网络的训练过程中，对于每层网络单元，可以按照一定的概率将其暂时从网络中丢弃。因此每次前向传播的过程中，被丢弃的节点是随机选择的。对于随机梯度下降来说，由于是随机丢弃，故而每一个 mini-batch 都在训练不同的网络

2. 数据增强（Data Augmentation）
   数据增强是用来扩充数据集，可以进一步减缓模型过拟合的情况。在图像分类任务中，图像的翻转、旋转、颜色改变、边缘处理等操作都不会改变图像的标签。在其他任务中，也可以使用类似的数据增强操作。

卷积神经网络

卷积神经网络与全连接网络非常相似：它们都是由神经元组成，都具有学习能力的权重和偏差。神经元都得到一些输入数据，进行内积运算后再进行激活函数运算。卷积神经网络的训练过程也是端到端的过程：输入是原始的图像像素，输出是不同类别的评分。

卷积神经网络一般由卷积层、激活函数、池化层和全连接层组成。

卷积层由众多的卷积核组成，卷积核会以滑动的方式对输入范围的输入进行内机求和操作。卷积是一种局部操作，通过一定大小的卷积核作用于局部图像区域获得图像的局部信息。卷积层本质就是图像滤波器，而滤波的参数可以在训练中动态调整，除了可以学习到边缘滤波器，还可以学习到检测形状、颜色的信息。

池化层的作用是进行特征降维和特征聚合的操作。卷积层一般包含多个卷积核，因此卷积操作会提取多维的数据，但并不是每个维度的特征是有效的。池化层可以提取每个通道局部的最大值和平均值等局部特征，而这些特征往往具有较好的尺度不变性。

问题：图片分类，模型：CNN 模型

循环神经网络

循环神经网络（RecurrentNeuralNetworks，RNN）是一类具有短期记忆能力的神经网络。在循环神经网络中，神经元不但可以接受其它神经元的信息，也可以接受自身的信息，形成具有环路的网络结构。

RNN 主要用于序列数据的分类问题：输入为序列，输出为类别。比如在文本分类中，输入数据为单词的序列，输出为该文本的类别。

深度学习的实践论

深度学习原理少但实践性非常强，基本上很多的模型的验证只能通过训练来完成。同时深度学习有众多的网络结构和超参数，因此需要反复尝试。训练深度学习模型需要 GPU 的硬件支持，也需要较多的训练时间，如何有效的训练深度学习模型逐渐成为了一门学问。

1. 数据扩增很重要，会直接影响模型的泛化性能；同时不同的任务数据扩增的方式可能存在差异，
   所以要具体任务具体定制数据扩增的方式。
2. Dropout 只在训练阶段开启，在测试阶段要保持关闭，否则模型的预测结构会带有一定随机性。
3. 在训练过程中要观察误差曲线以及学习率，Early Stop 能够减缓过拟合的情况；
   
   同时与传统的机器学习模型不同，深度学习模型的精度与模型的复杂度、数据量、正则化、数据扩增等因素直接相关。