吴恩达深度学习--logistic回归模型

logistic回归模型定义

       考虑具有n个独立变量的向量$x=(x_1,x_2,...,x_n)$，设条件概率$p(a=1|x)=p$为根据测量为相对于某件事发生的概率，则logistic回归模型为：$p(a=1|x)=π(x)=\frac{1}{1+e^{-z}}$。这里的$a=\frac{1}{1+e^{-z}}$称为logistic函数。其中$z=w_0+w_1x_1+...+w_nx_n$。

损失函数

       $L(a,y)=-(yloga+(1-y)log(1-a))$。其中$a=\frac{1}{1+e^{-z}}$。a是逻辑回归模型的输出，y是样本的基本真值标签值。损失函数是衡量的是单个样本，越小越好。

成本函数

       $J(w,b)=\frac{1}{m}\sum_{i=1}^mL(a^i,y^i)=-\frac{1}{m}\sum_{i=1}^m[y^iloga^i+(1-y^i)log(1-a^i)]$。成本函数衡量的是在全体训练样本上的体现，越小越好。

导数计算

       根据$L(a,y)=-(yloga+(1-y)log(1-a))$公式计算a变量的偏导,有$da=\frac{dL(a,y)}{da}=-\frac{y}{a}+\frac{1-y}{1-a}$。
       根据$a=\frac{1}{1+e^{-z}}$可以求出z的导数，有$\frac{da}{dz}=(\frac{1}{1+e^{-z}})^{'}=-\frac{e^{-z*(-1)}}{(1+e^{-z})^2}=a*(1-a)$。
       根据链式法则，$dz=\frac{dL}{dz}=\frac{dL}{da}*\frac{da}{dz}=a(1-a)*(-\frac{y}{a}+\frac{1-y}{1-a})=a-y$。
                                  $dw_1=\frac{dL}{da}*\frac{dz}{dw_1}=x_1dz$
                                  $dw_2=\frac{dL}{da}*\frac{dz}{dw_2}=x_2dz$
                                  $db=dz$

梯度下降法

       $w_1=w_1-αdw_1$
       $w_2=w_2-αdw_2$
       $b=b-αdb$
       $dw_1、dw_2、db$在上面的导数计算中已经计算出。

在m个样本中的逻辑回归

       在m个样本中的逻辑回归的伪代码如下。

       $J=0;dw_1=0;dw_2=0;db=0;$
       $for i=1--to--m$
       $z^{(i)}=w^Tx^{(i)+b}$
       $a^{(i)}=\delta(z^{(i)})$
       $J+=-[y{(i)loga^{(i)}}+(1-y^{(i)}log(1-a^{(i)}))]$
       $dz^{(i)}=a^{(i)}-y^{(i)}$
       $dw_1+=x_1^{(i)}dz^{(i)}$
       $dw_2+=x_2^{(i)}dz^{(i)}$
       $db+=dz^{(i)}$
       $J/=m$
       $dw_1/=m$
       $dw_2/=m$
       $db/=m$

       使用梯度下降法进行迭代：
       $w_1=w_1-αdw_1$
       $w_2=w_2-αdw_2$
       $b=b-αdb$
       利用上面这种方法我们使用了两个循环，一个是在计算m个样本的时候，两一个是在便利所有的特征的时候（n个dw值），这样就会大大降低程序的效率，而使用向量化能大大加快运算速度。