细讲逻辑斯蒂回归与朴素贝叶斯、最大熵原理的爱恨交织（四）

第四节：神奇的吻合 —— 逻辑斯蒂回归的损失函数

1. Logistic Loss —— Negative sum of log accuracy

假设预测对得1分，否则0分，label $\in$ {1, -1}

那么，对于第i条训练数据，若真实 label = 1，得1分的概率为 $\frac{1}{1+exp(-{\vec{w}}^T\overrightarrow{x_i})}$

若真实 label = -1，得1分的概率为 $\frac{exp(-{\vec{w}}^T\overrightarrow{x_i})}{1+exp(-{\vec{w}}^T\overrightarrow{x_i})}=\frac{1}{1+exp({\vec{w}}^T\overrightarrow{x_i})}$

把这两种情况综合一下，得1分的概率为 P(accurate) = $\frac{1}{1+exp(-y_i{\vec{w}}^T\overrightarrow{x_i})}$

$Loss=Negativesumoflogaccuracy$
$=-\sum _{i=1}^{n}log(P(accurate))$
$=-\sum _{i=1}^{n}log(\frac{1}{1+exp(-y_i{\vec{w}}^T\overrightarrow{x_i})})$
$=\sum _{i=1}^{n}log[1+exp(-y_i{\vec{w}}^T\overrightarrow{x_i})]$

n 是 batch_size

如果我们用SGD（stochastic gradient descent）的话，n = 1。对 Loss 求关于 $\vec{w}$ 的导数：

$\frac{\partial Loss}{\partial \vec{w}}=\frac{exp(-y_i{\vec{w}}^T\overrightarrow{x_i})(-y_i\overrightarrow{x_i})}{1+exp(-y_i{\vec{w}}^T\overrightarrow{x_i})}$

$=(-y_i\overrightarrow{x_i})P(notaccurate)$

还记得梯度下降的权重更新方法吗？$\Rightarrow \vec{w}=\vec{w}-\alpha d$

其中，$\alpha$ 是 learning rate，$d$ 是gradient，也就是刚才算的 $(-y_i\overrightarrow{x_i})P(notaccurate)$

权重更新：$\vec{w}=\vec{w}-\alpha P(notaccurate)y_i\overrightarrow{x_i}$

一般情况下，logistic loss 的公式为 $L(y,f(x))=log[1+exp(-yf(x))]$ 。也就是说，在logistic regression 中，$f(x)=$