3.2 神经网络基本结构及梯度下降算法

3.2 大白话:神经网络基本结构及梯度下降算法

每个输入层都是和隐藏层相连接的，每个输入的连接是：输入值乘以权重加上的偏置，经过sigmoid function得到下一层的值。

深度学习的深度体现在，隐藏层的多上面。

这张图片是28*28的建立一个两层（输出层不计算在内）的神经网络：

中间层可以自己设定，输出是几类的，就是几个输出神经元。

隐藏层学到的是从像素数级别到语义级别的一部分特征。

梯度下降算法：

MNIST数据集的图片

代价函数：

y是数据集的标签，x是一个784维度的向量。我们的目的是通过目标函数，训练出来权重和偏置。

更新方程：学习率n是这一步下降的的大小。有可能是局部最优。我们也可以让学习率是变化的，例如在刚开始的时候让他大一些，让他接近最优的时候变小，有助于学习。

接下来用数学推导一下。假设目标函数是C他有两个变量V1和V2

在上述中的v1和v2就是神经网络的w和b。

传统梯度下降算法太慢，一般用的是随机下降算法。