网络优化
线性神经网络
与感知器区别:
感知器:激活函数只能输出两种可能的值:1或-1
线性神经网络:可以输出任意值(其中,激活函数为线性函数)
delta下降法
为什么:欲使误差E最小,Wj应与误差的负梯度成正比?
(代价函数代表误差——>最终会得到一个误差较小的结果)
如最开始,点在x=0,导数为负的,负梯度为正W=W+deltaW变大,往右走,即梯度下降方向;若点在X=20,导数为正,负梯度为负,W=W+deltaW变小,往左走,也为梯度下降方向
我们需知道误差的梯度是什么
(Wj为自变量!!)