机器学习之BP算法

一、BP算法理解

① BP算法全称 (Error) Back Propagation 算法，中文名曰：误差反向传播算法。

②该算法是干嘛的？

       计算梯度。更简单点，求(偏)导。对于简单的函数如下：

                        

        我们使用肉眼就可以看出其导数为

                        

        但是对于特别复杂的多元函数(例如下图)，计算偏导数就会非常麻烦，在高等数学(下)，我们通常是引入新的变量构造复合函数进行简化(成常见的 可以直接得出导函数的形式)，然后利用链式求导法则。  

                          

        在前馈神经网络中，我们将引入新变量和链式求导结合起来，使用一种新的更加清晰的方式呈现-->计算图(Computation Graph)，最终从后向前推导得到多元函数(在机器学习中，该函数通常是目标函数或称为Loss Function)在特定点下的梯度。

        计算梯度的目的是为了最小化损失，也就是使得目标函数值最小。这里利用的原理是：函数值在梯度的反方向下降最快。

③ 结合计算图，利用BP算法 求复杂函数的梯度

具体实例是cs231n课程的。稍后补充。