3.2 大白话:神经网络基本结构及梯度下降算法
每个输入层都是和隐藏层相连接的,每个输入的连接是:输入值乘以权重加上的偏置,经过sigmoid function得到下一层的值。
深度学习的深度体现在,隐藏层的多上面。
这张图片是28*28的建立一个两层(输出层不计算在内)的神经网络:
中间层可以自己设定,输出是几类的,就是几个输出神经元。
隐藏层学到的是从像素数级别到语义级别的一部分特征。
梯度下降算法:
MNIST数据集的图片
代价函数:
y是数据集的标签,x是一个784维度的向量。我们的目的是通过目标函数,训练出来权重和偏置。
更新方程:学习率n是这一步下降的的大小。有可能是局部最优。我们也可以让学习率是变化的,例如在刚开始的时候让他大一些,让他接近最优的时候变小,有助于学习。
接下来用数学推导一下。假设目标函数是C他有两个变量V1和V2
在上述中的v1和v2就是神经网络的w和b。
传统梯度下降算法太慢,一般用的是随机下降算法。