交叉熵损失函数对b求偏导数的具体步骤

公式 (3-12) 是逻辑回归中基于交叉熵损失函数对偏置项 $b$ 求导的结果。公式为：
$$\frac{\partial L}{\partial b}=\frac{1}{m}\sum _{i=1}^m({\hat{y}}_i-y_i)$$

第一步：交叉熵损失函数

和公式 (3-11) 中一样，交叉熵损失函数 $L$ 为：
$$L=-\frac{1}{m}\sum _{i=1}^m\left(y_i\ln {\hat{y}}_i+(1-y_i)\ln (1-{\hat{y}}_i)\right)$$

其中，${\hat{y}}_i$ 是模型对第 $i$ 个样本的预测值，表示为：
$${\hat{y}}_i=\frac{1}{1+e^{-(w^T{x}_i+b)}}$$

第二步：对偏置项 $b$ 求导

我们现在需要对损失函数 $L$ 对偏置项 $b$ 求导。为了便于推导，首先针对单个样本 $i$ 的损失函数 $L_i$：
$$L_i=-\left(y_i\ln {\hat{y}}_i+(1-y_i)\ln (1-{\hat{y}}_i)\right)$$

对 $b$ 求偏导：
$$\frac{\partial L_i}{\partial b}=-\left(\frac{y_i}{{\hat{y}}_i}\frac{\partial {\hat{y}}_i}{\partial b}-\frac{1-y_i}{1-{\hat{y}}_i}\frac{\partial {\hat{y}}_i}{\partial b}\right)$$

第三步：求 ${\hat{y}}_i$ 对 $b$ 的导数

根据 Sigmoid 函数的定义，${\hat{y}}_i=\frac{1}{1+e^{-(w^T{x}_i+b)}}$，使用链式法则对 $b$ 求导：
$$\frac{\partial {\hat{y}}_i}{\partial b}={\hat{y}}_i(1-{\hat{y}}_i)$$

第四步：代入并简化

将 $\frac{\partial {\hat{y}}_i}{\partial b}={\hat{y}}_i(1-{\hat{y}}_i)$ 代入原偏导数公式中：
$$\frac{\partial L_i}{\partial b}=-\left(\frac{y_i}{{\hat{y}}_i}{\hat{y}}_i(1-{\hat{y}}_i)-\frac{1-y_i}{1-{\hat{y}}_i}(1-{\hat{y}}_i){\hat{y}}_i\right)$$

经过化简：
$$\frac{\partial L_i}{\partial b}=({\hat{y}}_i-y_i)$$

第五步：对整个数据集求和并平均

为了得到整体的梯度，我们对所有样本进行求和，并除以样本数 $m$：
$$\frac{\partial L}{\partial b}=\frac{1}{m}\sum _{i=1}^m({\hat{y}}_i-y_i)$$

这就是公式 (3-12) 的推导结果。

直观理解：

• ${\hat{y}}_i-y_i$ 是模型的预测值与实际标签之间的误差。
• 由于偏置 $b$ 影响所有样本的输出，而不依赖于输入特征 $x_i$，所以对 $b$ 求导时没有像对 $w$ 求导那样乘以 $x_i$，只留下了误差 ${\hat{y}}_i-y_i$ 的累积平均。

这个结果用于梯度下降法，调整偏置 $b$ 以最小化损失函数 $L$。