神经网络代价函数:
逻辑回归的代价函数:
当神经网络的激活函数选用逻辑回归函数时,神经网络的代价函数就是逻辑回归的代价函数,不同的是神经网络有k个输出,一块加起来就是。
前向传播公式:
A(j+1) =g(Θ(j) *A(j) );
set p is the last layer,
X=[ones(m,1),X]; X要加上常数项;
A(2) =g(Θ(1) *A(1) )= g(Θ(1) *XT);
A(2) = [ones(1,m); A(2)];A(2)要加上常数项;和X加常数项的方向是反的。详情见维数分析;
…
hΘ(X)= A(p) =g(Θ(p-1) *A(p-1) );
这是神经网络的定义,各层单元之间的联系。
后向传播公式:
Delta(p)= A(p)-Y;
Delta(j-1)= (Θ(j-1))T *Delta(j).* A(j-1).*( 1-A(j-1));
Delta(j-1)= Delta(j-1) (2:end,:);把常数项去掉。
set reg_Θ(j)= Θ(j); reg_Θ(j)(:,1)= 0;
Grad(j)=1/m*Delta(j+1)*( a(j))T+λ/m* reg_Θ(j);
简单推导如下:
一、误差定义:
可以这样理解,J还有种表达式是最小平方差
对最后一层也就是输出层来讲,J对Z的求导正好是误差,比较容易理解。p是最后一层:
对其他层来讲,也沿用误差的概念,为的是后面计算梯度的方便。
二、其他层误差公式及推导:
δ(p-1)= (Θ(p-1)).T *δ(p).* a(p-1).*( 1-a(p-1)); Backpropagation algorithm,由δ(p)----à δ(p-1);
这是向量化的公式。
公式推导如下:
所以:
向量化的时候,要注意各个变量之间维度是否一致。
theta转置后和delta(p)进行点乘(矩阵乘法运算),得到维度是(S(p-1)+1)*m,然后再和后面的两项进行数乘(数组乘法运算),得到的结果再除掉常数项,维度从(S(p-1)+1)*m变成S(p-1)*m;
三、梯度公式及推导
set reg_Θ(j)= Θ(j); reg_Θ(j)(:,1)= 0;
Grad(j)=1/m*Delta(j+1)*( a(j)).T+λ/m* reg_Θ(j);
不看正则项,则为:
Grad(j)=1/m*Delta(j+1)*( a(j)).T
这是向量化公式,表示第j层的梯度公式。
所以: