Logistic Regression逻辑回归的损失函数与梯度下降训练

有一篇博文提到logistic regression的简单理解（Logistic Regression逻辑回归的简单解释）。逻辑回归实际上是odds取对数后的反函数，其函数形式也称为sigmoid function，sigmoid的原义为『像S的形状』。文中最后给出了逻辑回归的表达式：

$$h(\alpha )=\frac{1}{1+e^{-\alpha }}$$

因为$h(\alpha )$的定义域是全体实数$\mathbf{R}$，$\alpha$可以用任意函数来代替，一般使用线性函数：$\alpha (\mathbf{\theta },\mathbf{x})={\theta }_0{x}_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n$。

为了方便叙述，改写一下符号：

$$h_{\mathbf{\theta }}(\mathbf{x})=g({\mathbf{\theta }}^T\mathbf{x})=\frac{1}{1+e^{-{\mathbf{\theta }}^T\mathbf{x}}}\text{\hspace{1em}(1)}$$

其中粗体$\mathbf{x}$是已知的数据（样本，输入），粗体${\mathbf{\theta }}^T$是参数。机器学习即通过已知样本$\mathbf{x}$和对应的label $\mathbf{y}$来求解（估计）参数${\mathbf{\theta }}^T$。

损失函数

逻辑回归使用对数损失函数：

$$L(Y,P(Y|X))=-\log (P(Y|X))$$

对数损失函数直接看函数形式不是很直观，毕竟其它损失函数都可以直接从形式上看出『预测时与真实值之间的差异』这样的含义（绝对值损失，平方差损失等），对数损失函数第一眼难以看到这样的含义。

实际上对数损失函数来源于极大似然估计。$P(Y|X)$的意思是在样本已知（即$X$）的情况下，分类正确（类别为$Y$）的概率。$P(Y|X)$越大表示被正确分类的概率越大，取对数再取反那就是最小，符合损失函数的定义。通俗来讲，一堆参数在一堆数据下的似然值，就是每一条数据（每一条样本）在这一组参数下的条件概率之积，取个对数变成条件概率之和，再取个负号求反就得到了对数损失函数。

逻辑回归的损失函数形式也完全可以从极大似然估计的过程中得到，二者是等价的。

逻辑回归本身用于处理二分类问题。对数损失函数中的$h(Y|X)$就是sigmoid函数$h_{\theta }(x)$。为了综合$Y=1$和$Y=0$两个类别的损失，基于对数损失函数，逻辑回归的损失函数可以写成如下形式：

$$L(h_{\theta }(x),y)=\{\begin{array}{rlr}& -\log (h_{\theta }(x))& y=1\\ & -\log (1-h_{\theta }(x))& y=0\end{array}$$

为了方便，上式可以改写成一个式子：

$$L(h_{\theta }(x),y)=-y\log (h_{\theta }(x))-(1-y)\log (1-h_{\theta }(x))\text{\hspace{1em}(2)}$$

(2)式就是逻辑回归的损失函数的形式。如果$y=1$，loss会计算上式中的前半部分，如果$y=0$，loss计算上式的后半部分。无论0或1，只要分类错误，loss都会变得很大。

下面推导逻辑回归的极大似然估计，最终可以看到，极大似然估计与(2)式是等价的。

前面提到，$P(Y|X)=h_{\theta }(x)$。逻辑回归的假设是伯努利分布，label有$y=0$和$y=1$两种情况。伯努利分布的概率密度函数$f(x)=p^x(1-p{)}^{(1-x)}$，套用至逻辑回归，就得到逻辑回归的概率密度函数：

$$f(x)=P(y=1|x{)}^y{\left(1-P(y=1|x)\right)}^{(1-y)}$$

其中$P(y=1|x)=h_{\theta }(x)$

那么似然函数可以写成连乘的形式：

$$L(\mathbf{\theta })=\prod _{i=1}^{m}P(y=1|x_i{)}^{y_i}{\left(1-P(y=1|x_i)\right)}^{(1-y_i)}$$

两边取以e为底的对数，得到对数似然函数：

(3) ln ⁡ L ( θ ) = ∑ i = 1 m y i ln ⁡ P ( y = 1 ∣ x i ) + ( 1 − y i ) ln ⁡ ( 1 − P ( y = 1 ∣ x i ) ) = ∑ i = 1 m y i ln ⁡ h θ ( x i ) + ( 1 − y i ) ln ⁡ ( 1 − h θ ( x i