图解深度学习-神经网络

深度学习

深度学习是一种统计学习方法，可以在大量数据中自动提取关键特征信息。

 

深度学习的分类 

深度学习的起源有感知器和基于图模型的玻尔兹曼机。在这两个的基础上引入多层结构形成了现在的深度学习。

 神经网络的历史

M-P模型和感知器模型

M-P模型是首个通过模仿神经元形成的模型。

M-P模型是将每一个输入都乘以对应的权重然后相加，得到的结果如果大于阈值，则输出1，否则输出0. 

 M-P模型可以轻松实现各种逻辑运算，但是相应的参数确需要人为确定。

与M-P模型不同的是，感知器模型可以根据样本训练自动确定参数。

上面的方法叫做误差修正学习方法，可以看出这里并没有使用梯度信息，只是在调整影响误差的参数，以使误差减小。 

多层感知器

为了解决线性不可分的问题，提出了多层感知机模型。

此时提出了误差反向传播算法

随机梯度下降

根据训练样本的输入方式，误差反向传播算法可以分为不同的种类。

批量学习：这种算法每次迭代需要遍历全部的训练样本。批量学习可以有效抑制训练集内带噪声的样本。

在线学习：这种算法每输入一个样本，就会进行一次迭代。由于没输入一个样本就进行一次迭代，会导致结果出现大幅变动。

小批量梯度下降法：这种方法是将训练集划分为几个子集，每次迭代都使用一个子集。

小批量梯度下降和在线学习都是使用部分训练样本进行迭代计算，所以这种方法也叫做随机梯度下降法。

学习率

学习率是用来确定权重连接调整程度的系数。