回归算法——Logistics回归、Log对数损失（交叉熵损失）

回归算法——Logistics回归、Log对数损失、交叉熵损失

1.定义

Logistic算法是一个二分类算法，它通过Sigmoid函数，把函数值映射到0~1之间。其概率估计函数公式如下：
$${\hat{p}}_i=h_{\theta }(X_i)=\sigma ({\theta }^T{X}_i)$$
其中${\hat{p}}_i$为样本$X_i$的最终估计概率，$\theta$为回归模型的特征参数向量，$X_i$为某一样本，其中$\sigma ()$为Sigmoid函数。
$$\sigma (t)=\frac{1}{1+e^{-t}}$$
于是便有如下逻辑回归分类模型：
$$\widehat{Y_i}=\{\begin{array}{l}0,\widehat{p_i}<0.5\\ 1,\widehat{p_i}\ge 0.5\end{array}$$
即当样本$X_i$的预测概率小于0.5时，其预测分类为0；反之，其预测分类为1。我们也可以通过sigmoid函数知道，当${\theta }^T{X}_i<0$时，其预测分类为0；${\theta }^T{X}_i\ge 0$时其预测分类为1。

好了，既然我们知道Logistic模型是如何进行预测分类的了，那么接下来就讨论一下，我们要如何使模型更能准确的预测出样本分类，即我们如何调整模型的$\theta$特征参数向量。于是我们就要引入损失函数的概念，即使用何种函数来定义本模型的好坏，并使用何种优化方式来使损失函数尽可能最小。

2.Log对数损失

Log对数损失, 即对数似然损失(Log-likelihood Loss), 也称逻辑斯谛回归损失(Logistic Loss)或交叉熵损失(cross-entropy Loss)，它是采取极大似然估计思想来进行设计的。下面就讲一下极大似然估计思想：

假设样本X服从某一分布（比如0-1分布），现在要做的是就是根据样本X估计该分布参数$\theta$的值，直观上来讲，由于已知样本X，那么这个样本X的产生一定与未知的$\theta$有关，既然已有样本X了，则认为$\theta$的值应该是使$p(X/\theta )$最大的那个值，于是有似然估计函数$L(X,\theta )$最大化。

那么据此思想，已经构建了Logistics算法模型，即样本X满足Logistics概率函数分布，于是构建如下似然函数 L (