【机器学习-11】 逻辑回归的-交叉熵损失函数

【机器学习-11】 逻辑回归的交叉熵损失函数

梯度下降的求导过程是针对逻辑回归的交叉熵损失函数的推导，具体步骤如下：

---

1. 损失函数（交叉熵）

$$J(\mathbf{w},b)=-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}\log (f_{\mathbf{w},b}({\mathbf{x}}^{(i)}))+(1-y^{(i)})\log (1-f_{\mathbf{w},b}({\mathbf{x}}^{(i)}))\right]$$
其中：
• $f_{\mathbf{w},b}(\mathbf{x})=\sigma ({\mathbf{w}}^T\mathbf{x}+b)=\frac{1}{1+e^{-({\mathbf{w}}^T\mathbf{x}+b)}}$（Sigmoid函数）
• ( m ) 是样本数量，$y^{(i)}$是真实标签（0或1）。

---

2. 对权重 $w_j$ 和偏置 $b$ 的偏导数

（1）权重 $w_j$ 的偏导

$$\frac{\partial J(\mathbf{w},b)}{\partial w_j}=\frac{1}{m}\sum _{i=1}^m\left(f_{\mathbf{w},b}({\mathbf{x}}^{(i)})-y^{(i)}\right)x_j^{(i)}$$
推导过程：

1. 对Sigmoid函数求导：${\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))$。
2. 通过链式法则：
   $$\frac{\partial J}{\partial w_j}=\frac{1}{m}\sum _{i=1}^m\left[\frac{y^{(i)}}{f}\cdot \frac{\partial f}{\partial w_j}-\frac{1-y^{(i)}}{1-f}\cdot \frac{\partial f}{\partial w_j}\right]$$
3. 合并同类项后代入 $\frac{\partial f}{\partial w_j}=f(1-f)\cdot x_j^{(i)}$，最终化简得到上述结果。

（2）偏置 $b$的偏导

$$\frac{\partial J(\mathbf{w},b)}{\partial b}=\frac{1}{m}\sum _{i=1}^m\left(f_{\mathbf{w},b}({\mathbf{x}}^{(i)})-y^{(i)}\right)$$
推导类似权重，区别在于 $\frac{\partial f}{\partial b}=f(1-f)$。

---

3. 梯度下降更新规则

• 权重更新：
$$w_j:=w_j-\alpha \cdot \frac{1}{m}\sum _{i=1}^m\left(f_{\mathbf{w},b}({\mathbf{x}}^{(i)})-y^{(i)}\right)x_j^{(i)}$$
• 偏置更新：
$$b:=b-\alpha \cdot \frac{1}{m}\sum _{i=1}^m\left(f_{\mathbf{w},b}({\mathbf{x}}^{(i)})-y^{(i)}\right)$$
其中 $\alpha$是学习率。

---

关键点说明

1. Sigmoid的导数性质：梯度中的 $f(1-f)$ 项在求导时被约去，使得结果形式与线性回归的均方误差类似（但损失函数不同）。
2. 向量化实现：实际编程中通常用矩阵运算（如$X^T(f-y)$）替代逐参数更新。
3. 逻辑回归特性：交叉熵损失对错误分类的惩罚更严厉（梯度更大），收敛速度优于均方误差。