神经网络算法中代价函数、反向传播算法

神经网络的代价函数

(xi,Yi)：代表事件

L：代表层数

Sl:代表每层的个数

左边是两类分类，右边是多类分类

 

1.加号之后那项是正则化的项，上面的是两类分类的线性回归公式，下面的是多类分类的项。

算法的关键是找到参数西塔使得代价函数J（西塔）取得最小值，主要任务是计算偏导项

反向传播算法

前向传播算法的向量化

 

a(1)为第一层的激活值，假设为x

g是一个sigmoid激活函数，可以计算隐藏层的激活值

a0（2）是添加的偏置项

 

误差项:

 第一层没有误差项，误差项从最后一层往前计算，l层第j个单元的误差项，误差项也可以是向量

反向传播算法对代价函数偏导数值得计算过程

 

前向传播

 

反向传播算法和前向传播算法过程比较类似，只是方向不同 

 

 

一个样本的代价函数表达式：

 cost(i)表示在神经网络中预测样本的准确程度，也是网络输出值和实际观测值得接近程度，是个方差

 

反向传播的计算公式和过程：