吴恩达机器学习作业Python实现之神经网络之公式推导

一、神经网络定义：前向传播

A(j+1) =g(Θ(j) *A(j) );

set p is the last layer,

X=[ones(m,1),X]; X要加上常数项；

A(2) =g(Θ(1) *A(1) )= g(Θ(1) *XT);

A(2) = [ones(1,m); A(2)];A(2)要加上常数项；和X加常数项的方向是反的。详情见维数分析；

…

hΘ(X)= A(p) =g(Θ(p-1) *A(p-1) );

二、代价函数

逻辑回归的代价函数：

 当神经网络的激活函数选用逻辑回归函数时，神经网络的代价函数就是逻辑回归的代价函数，不同的是神经网络用K个输出，一起加起来就是。

三、误差定义：

 误差的理解：

代价函数J的另外一种表达方式是：

对最后一层也就是输出层来讲，J对Z的求导正好是误差，比较容易理解。p是最后一层：

 对其他层来讲，也沿用误差的概念，为的是后面计算梯度的方便。

四：反向传播：误差的反向计算

Delta(p)= A(p)-Y;

Delta(j-1)= (Θ(j-1))T *Delta(j).* A(j-1).*( 1-A(j-1));

Delta(j-1)= Delta(j-1) (2:end,:)；把常数项去掉。

所以得到：

 这是向量化公式，要注意维度保持一致；

 维度分析：

 theta转置后和delta进行矩阵相乘，

然后和后两项进行数组相乘，

得到的结果再去掉常数项。

五、梯度公式及推导

set reg_Θ(j)= Θ(j); reg_Θ(j)(:,1)= 0;

Grad(j)=1/m*Delta(j+1)*( a(j)).T+λ/m* reg_Θ(j)；

去掉正则项为：

Grad(j)=1/m*Delta(j+1)*( a(j)).T

这是向量化公式，要注意各项之间维度保持一致。

delta和A的转置进行矩阵相乘。