《deep learning》学习笔记

深度学习方法是一种具有多个表示层次的表示学习方法，通过组合简单但非线性的模块获得，每个模块将一个层次上的表示(从原始输入开始)转换为一个更高、更抽象的表示。有了足够多这样的变换组合，就可以学习非常复杂的函数。

深度学习的关键方面是，这些特性层不是由人类工程师设计的:它们是使用通用的学习过程从数据中学习的。

结果证明，它非常善于发现高维数据中的复杂结构，因此适用于科学、商业和政府的许多领域。

也许更令人惊讶的是，深度学习在自然语言理解的各种任务中，特别是主题分类、情感分析、问题回答和语言翻译方面，已经产生了非常有前途的结果。

我们计算一个目标函数，它测量输出分数与期望的分数模式之间的误差(或偏差)。然后，机器修改其内部可调参数，以减少这种误差。这些可调参数通常称为权重，它们是实数，可以看作是定义机器输入输出功能的旋钮。在一个典型的深度学习系统中，可能有数亿个这样的可调权重，以及数亿个用于训练机器的带标签的例子。

所有训练样本的目标函数均取平均值，可视为权重值高维空间中的一种丘陵景观。负梯度向量表示该景观中最陡下降的方向，使其接近最小值，此时平均输出误差较低。

在训练之后，系统的性能是通过另一组称为测试集的例子来测量的。这是为了测试机器的泛化能力，它能够在训练中从未见过的新输入上生成合理的答案。

导数的链式法则告诉我们两个小的影响(x对y的小变化，和y对z的小变化)是如何构成的。

要使分类器更强大，可以使用一般的非线性特性，如内核方法。

系统具有多个非线性层，深度在5到20之间，可以实现极其复杂的功能，它的输入可以同时敏感于细微的细节，区分萨摩耶德和白狼，不敏感于大的无关变化，如背景、姿势、灯光和周围的物体。

关键的见解是，目标相对于模块输入的导数（或梯度）可以通过相对于模块输出（或后续模块输入）的梯度向后计算（图1）。反向传播方程可重复应用于通过所有模块传播梯度，从顶部的输出（网络产生其预测）一直到底部（外部输入被馈送）。一旦计算出这些梯度，就可以直接计算出相对于每个模块权重的梯度。

目前，最常用的非线性函数是整流线性单元(ReLU)。

在实践中，在大型网络中，较差的本地极小值很少是一个问题。无论初始条件如何，系统几乎总是能得到非常相似质量的解。

分析似乎表明，只有少数向下弯曲方向的鞍点数量非常大，但几乎所有鞍点的目标函数值都非常相似。因此，在这些鞍点中，算法被卡在哪个鞍点并不重要。

通过使用该重建目标对多层复杂的特征检测器进行预处理，可以将深度网络的权值初始化为可感知值。

当深度卷积网络应用于包含1000个不同类别的约100万幅网络图像的数据集时，它们取得了惊人的效果，几乎将最佳竞争方法的错误率降低了一半。这种成功来自于gpu， ReLUs，一种叫dropout的新的正则化技术的有效使用。

convnet很容易适应芯片或现场可编程门阵列中的高效硬件实现。英伟达(NVIDIA)、移动眼(Mobileye)、英特尔(Intel)、高通(Qualcomm)和三星(Samsung)等多家公司正在开发ConvNet芯片，使实时视觉应用能够应用于智能手机、相机、机器人和自动驾驶汽车。

深度学习理论表明，与不使用分布式表示的经典学习算法相比，深度网络具有两种不同的本质优势。

多层神经网络的隐含层学习以一种易于预测目标输出的方式表示网络的输入。

在语言模型中，网络的其他层学习将输入词向量转换为预测的下一个词的输出词向量，该输出词向量可用于预测词汇表中任何词作为下一个词出现的概率。

在引入神经语言模型之前，语言统计建模的标准方法没有利用分布表示法：它是基于计算长度不超过n的短符号序列（称为n-grams）的出现频率。可能的n-grams的数量与v^n相似，其中v是词汇的大小，因此考虑到超过几个单词的上下文需要非常大的训练语料库。n-grams把每个词看作一个原子单位，因此它们不能在语义相关的词序列中进行泛化，而神经语言模型可以将每个词与一个具有实值特征的向量相关联，并且语义相关的词在向量空间中彼此接近。

可视化空间变换demo：https://cs.stanford.edu/people/karpathy/convnetjs//demo/classify2d.html

LSTM：https://www.cnblogs.com/eagou/p/9257380.html