【Deep Learning】神经网络和深度学习week2----神经网络的编程基础/逻辑回归

逻辑回归(Logistic Regression)

逻辑回归是一个用于二分类(binary classification)的算法。

1. 训练数据： { ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , … ( x ( m ) , y ( m ) ) , } \{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\dots(x^{(m)},y^{(m)}),\} {(x(1),y(1)),(x(2),y(2)),…(x(m),y(m)),}
   即$X\in {\mathbb{R}}^{n_x\times m}$，$Y\in {\mathbb{R}}^{1\times m}$
   X.shape
2. 逻辑回归参数
   • 特征向量：$x\in {\mathbb{R}}^{n_x\times 1}$ ，表示样本$x$包含$n_x$个特征；
     输出标签：$y\in 0,1$ ，目标值属于0、1分类；
   • 权重：$w\in {\mathbb{R}}^{n_x\times 1}$
     偏置： $b\in \mathbb{R}$
   • 预测值：$\hat{y}=P(y=1|x)\in [0,1]$
                   $\hat{y}=\sigma (w^{T}x+b)$
     其中Sigmoid 函数 $\sigma (z)=\frac{1}{1+e^{-z}}$
     ⚠️Sigmoid函数的一阶导数：
            ${\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))$
     这里可以解释梯度消失的问题，当$z=0$时，导数最大，但是导数最大为${\sigma }^{\prime }(0)=\sigma (0)(1-\sigma (0))=0.25$ ，这里导数仅为原函数值的0.25倍。 参数梯度下降公式的不断更新，${\sigma }^{\prime }(z)$会变得越来越小，每次迭代参数更新的步伐越来越小，最终接近于0，产生梯度消失的现象。
     
3. 代价函数(Loss Function)
   • 损失函数(Cost Function)
     用于衡量预测结果与真实值之间的误差。
     ⚠️读懂深度学习中的代价函数、交叉熵
     • 通常损失函数定义方式为平方差损失：
           $L(\hat{y},y)=\frac{1}{2}(\hat{y}-y{)}^2$
       但 Logistic 回归中我们并不倾向于使用这样的损失函数，因为之后讨论的优化问题会变成非凸的，最后会得到很多个局部最优解，梯度下降法可能找不到全局最优值。
     • 逻辑回归的损失函数（交叉熵）：
           $L(\hat{y},y)=-(y\log \hat{y})-(1-y)\log (1-\hat{y})$
       when $y=1$, $\min (L(\hat{y},y))=-\log (\hat{y})\Rightarrow \max (\log (\hat{y}))=\max (\hat{y})\Rightarrow 1$
       如果$\hat{y}$越接近1，表示预测效果越好；如果$\hat{y}$越接近0，表示预测效果越差；
       when $y=0$, $\min (L(\hat{y},y))=\log (1-\hat{y})\Rightarrow \max (\log (1-\hat{y}))=\max (1-\hat{y})\Rightarrow \min (\hat{y})\Rightarrow 0$
       如果$\hat{y}$越接近0，表示预测效果越好；如果$\hat{y}$越接近1，表示预测效果越差；
   • 代价函数(Loss Function)
     损失函数是在单个训练样本中定义的，它衡量了在单个训练样本上的表现。
     而代价函数衡量的是在全体训练样本上的表现，即衡量参数 w 和 b 的效果。
     • 交叉熵代价函数：
       $J(w,b)=\frac{1}{m}{\sum }_i^{m}L({\hat{y}}^{(i)},y^{(i)})=\frac{1}{m}{\sum }_i^m(-(y^{(i)}\log {\hat{y}}^{(i)})-(1-y^{(i)})\log (1-{\hat{y}}^{(i)}))$
     • 目标： $\arg {\min }_{w,b}J(w,b)$