Deep learning review（算是一个读综述的笔记？）

其实是我跟着上的深度之眼一个课程的笔记啦。这是第一周的课程

深度学习方法是具有多层表示的表示学习方法，通过组合简单但非线性的模块来获得，每个模块将一个级别的表示(从原始输入开始)转换为一个更高、更抽象的表示。有了足够多这样的变换组合，就可以学习非常复杂的函数。它非常善于发现高维数据中的复杂结构，因此适用于科学、商业和政府的许多领域。

监督学习

我们计算一个测量误差(或距离)的目标函数在输出分数和期望的分数模式之间。然后修改其内部可调参数，以这个错误。这些可调参数，通常称为权重，可以被视为定义输入-输出函数的“旋钮”的数字
的机器。在一个典型的深度学习系统中，可能有数以亿计的可调节重量，数以百计的数以百万计的带标签的例子来训练机器。
目标函数，在所有的训练例子上取平均值。负梯度向量表示该景观中最陡下降的方向，使其接近最小值，此时平均输出误差较低。

反向传播

反向传播算法的核心思想是：目标函数对于某层输入的导数（或者梯度）可以通过向后传播对该层输出（或者下一层输入）的导数求得。反向传播算法可以被重复的用于传播梯度通过多层神经网络的每一层：从该多层神经网络的最顶层的输出（也就是改网络产生预测的那一层）一直到该多层神经网络的最底层（也就是被接受外部输入的那一层），一旦这些关于（目标函数对）每层输入的导数求解完，我们就可以求解每一层上面的（目标函数对）权值的梯度了。

主要是客观的导数(或梯度)对一个模块的输入可以通过工作从梯度计算对该模块的输出(或输入的后续模块)。反向传播方程可以应用反复传播梯度通过所有的模块,从顶部(网络产生预测的地方)的输出一直到底部(外部输入的地方)。一旦计算了这些梯度&#x