偏置值允许将激活函数向左或向右移位,这可能是成功学习的关键。
下面用示例讲解:
假设一个只有一个输入,一个输出的神经元(对,没有偏置),
神经元的输出就是sigmoid(w0*x),下图是w0取不同值时的结果图,
改变w0的值就是改变sigmoid函数的陡峭程度,如果想让x=2时,输出值为0,只改变wo的不同取值是无济于事的,你需要把曲线往右移动。我们加入偏置,如下图:
此时神经元的输出值即为sig(w0*x + w1*1.0)。
不同的wo对应的图像如图所示:
可以看出,当wo等于-5时,x=2时,输出值大致为0.
所以,偏置的存在是为了更好的拟合数据。
参考链接:神经网络中偏置的作用