交叉熵损失函数对w求偏导数的具体步骤

公式 (3-11) 是逻辑回归中基于交叉熵损失函数对权重 $w$ 求导的结果，用于梯度下降优化。具体表达式如下：
$$\frac{\partial L}{\partial w}=\frac{1}{m}\sum _{i=1}^m{x}_i({\hat{y}}_i-y_i)$$

第一步：交叉熵损失函数

从公式 (3-10) 我们知道，交叉熵损失函数 $L$ 为：
$$L=-\frac{1}{m}\sum _{i=1}^m\left(y_i\ln {\hat{y}}_i+(1-y_i)\ln (1-{\hat{y}}_i)\right)$$

其中，${\hat{y}}_i$ 是模型的预测概率，表示为：
$${\hat{y}}_i=\frac{1}{1+e^{-(w^T{x}_i+b)}}$$

第二步：对权重 $w$ 求导

我们现在要求的是损失函数对权重 $w$ 的偏导数。首先，我们只关注每个样本 $i$ 的损失项：
$$L_i=-\left(y_i\ln {\hat{y}}_i+(1-y_i)\ln (1-{\hat{y}}_i)\right)$$

对权重 $w$ 求偏导：
$$\frac{\partial L_i}{\partial w}=-\left(\frac{y_i}{{\hat{y}}_i}\frac{\partial {\hat{y}}_i}{\partial w}-\frac{1-y_i}{1-{\hat{y}}_i}\frac{\partial {\hat{y}}_i}{\partial w}\right)$$

第三步：求 ${\hat{y}}_i$ 对 $w$ 的导数

根据 ${\hat{y}}_i=\frac{1}{1+e^{-(w^T{x}_i+b)}}$，使用链式法则求导：
$$\frac{\partial {\hat{y}}_i}{\partial w}={\hat{y}}_i(1-{\hat{y}}_i)x_i$$

这一结果是由逻辑回归的Sigmoid 函数的导数性质决定的，即：
$$\frac{d}{dx}\left(\frac{1}{1+e^{-x}}\right)={\hat{y}}_i(1-{\hat{y}}_i)$$

第四步：代入并简化

将 $\frac{\partial {\hat{y}}_i}{\partial w}={\hat{y}}_i(1-{\hat{y}}_i)x_i$ 代入原来的偏导数公式中：
$$\frac{\partial L_i}{\partial w}=-\left(\frac{y_i}{{\hat{y}}_i}{\hat{y}}_i(1-{\hat{y}}_i)x_i-\frac{1-y_i}{1-{\hat{y}}_i}(1-{\hat{y}}_i){\hat{y}}_i{x}_i\right)$$

经过化简，得到：
$$\frac{\partial L_i}{\partial w}=({\hat{y}}_i-y_i)x_i$$

第五步：对整个数据集求和并平均

将每个样本的梯度求和并对样本数量 $m$ 进行平均：
$$\frac{\partial L}{\partial w}=\frac{1}{m}\sum _{i=1}^m({\hat{y}}_i-y_i)x_i$$

这就是公式 (3-11) 的推导结果。

直观理解：

• ${\hat{y}}_i-y_i$ 是模型的预测值与真实值之间的误差。对于每个样本，它表示模型的预测偏离真实值的程度。
• 这个误差乘以对应样本的特征 $x_i$ 来更新权重，表明哪些特征在预测误差中起了作用。
• 最后对所有样本取平均，是为了计算整个训练集上的梯度。

这个结果用于梯度下降法，来调整权重 $w$ 以最小化损失函数 $L$。