神经网络的代价函数
(xi,Yi):代表事件
L:代表层数
Sl:代表每层的个数
左边是两类分类,右边是多类分类
1.加号之后那项是正则化的项,上面的是两类分类的线性回归公式,下面的是多类分类的项。
算法的关键是找到参数西塔使得代价函数J(西塔)取得最小值,主要任务是计算偏导项
反向传播算法
前向传播算法的向量化
a(1)为第一层的激活值,假设为x
g是一个sigmoid激活函数,可以计算隐藏层的激活值
a0(2)是添加的偏置项
误差项:
第一层没有误差项,误差项从最后一层往前计算,l层第j个单元的误差项,误差项也可以是向量
反向传播算法对代价函数偏导数值得计算过程
前向传播
反向传播算法和前向传播算法过程比较类似,只是方向不同
一个样本的代价函数表达式:
cost(i)表示在神经网络中预测样本的准确程度,也是网络输出值和实际观测值得接近程度,是个方差
反向传播的计算公式和过程: