数据挖掘第5周

最新推荐文章于 2024-10-15 01:20:33 发布

Prince Fei

最新推荐文章于 2024-10-15 01:20:33 发布

阅读量160

点赞数

文章标签：数据挖掘神经网络人工智能

本文链接：https://blog.csdn.net/F_teenage_youth/article/details/120880303

版权

BP神经网络

有一组输入数据 $X=[x_{1},x_{2},\cdots ,x_{n}]$ ，输入层到隐含层的权阵记为 $W_{inToHidden}$ ，偏置矩阵为 $B$ ，隐藏层的数据记为 $H=[h_1,h_2,\cdots h_n]$ ，隐藏层到输出层的权阵为 $W_{hiddenToOut}$ ，输出数据为 $Y=[y_1,y_2,\cdots ,y_m]$ ，目标值（标签）为 $O=[o_1,o_2,\cdots ,o_m]$ ，代价函数为 $Error=\frac{1}{2}( Y-O)^{2}$ ，激活函数为Sigmoid函数 $y=\frac{1}{1+e^{-x}}$ ，其中 $y^{'}=y(1-y)$

则有

$H=Sigmoid(W_{inToHidden}\cdot X+B)$

$Y=Sigmoid(W_{hiddenToOut}\cdot H)$

其中 $W_{inToHidden}$ ， $W_{hiddenToOut}$ 的初值都是我们任意设置的，所以必然会跟目标值产生误差，BP算法的关键就在于误差的反向传播，在此我们借助梯度下降法。我们知道，梯度方向是函数增长最快的方向，但是我们希望误差能收敛到最小值，所以需要沿着梯度的反方向不断收敛，即

$W=W-\alpha \frac{\partial Error}{\partial W}$ ，其中 $\alpha$ 为调整的步长，有经验来设置。而