【机器学习】线性回归和逻辑回归

回归模型可用于预测连续值，分类模型可用于预测离散值。
线性回归是一种回归模型，通过将特征之间进行线性组合，从而得到连续的输出。可用特征组合处理非线性规律。
逻辑回归是分类模型，可用于二分类也可用于多分类问题。是从线性回归中衍生出来的分类策略，通过将S型函数用于线性预测而得到分类任务中每个标签的概率。逻辑回归是一种极其高效的概率计算机制。

一、线性回归
线性回归用于预测连续值。
可用于处理线性问题，也可用于处理非线性问题。对于非线性问题，使用特征组合来解决。

$$y^{\prime }=b+w_1{x}_1+w_2{x}_2+....+w_n{x}_n$$
$x_i$ 是输入的特征，$w$是权重，$b$是偏差

线性回归损失函数

均方误差 (MSE) 指的是每个样本的平均平方损失。要计算 MSE，请求出各个样本的所有平方损失之和，然后除以样本数量：
$$MSE=\frac{1}{N}\sum _{(x,y)\in D}(y-prediction(x){)}^2$$

二、逻辑回归

逻辑回归是一种高效的概率计算机制。
可用于二分类问题也可用于多分类问题，输出的结果为概率值。
逻辑回归通过S型函数将逻辑回归的输出固定在0~1之间。

（1）S型函数
$$y=\frac{1}{1+e^{-z}}$$
$z$ 表示逻辑回归模型线性层的输出，$z = b + w_1x_1 + w_2x_2 + …+w_nx_n $。
$y^{{}^{\prime }}$ 是逻辑回归模型针对特定样本$x$的输出。

S型函数图像如下：

（2）逻辑回归损失函数

逻辑回归的损失函数是对数损失函数，定义如下：
$$LogLoss=\sum _{(x,y)\in D}-ylog(y^{\prime })-(1-y)log(1-y^{\prime })$$
“$y$”是有标签样本中的标签。由于这是逻辑回归，因此“$y$”的每个值必须是 0 或 1。
“$y^{{}^{\prime }}$”是对于特征集“$x$”的预测值（介于 0 和 1 之间）。

对数损失函数是似然函数的负对数（假设“$y$”属于伯努利分布即两点分布）。
使用最大似然估计求逻辑回归中的一系列参数（权重和偏差）

似然函数

似然函数是一种关于统计模型中参数的函数，在参数估计方法中具有重要作用，表示模型参数的似然性。
概率用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。

似然函数也是一种条件概率函数，似然函数取得最大值表示相应的参数能够使得统计模型最为合理。

回归模型损失函数的选择

三、有关Logloss的推导：

1、S型函数的由来
推导过程中会用到贝叶斯分类的知识，有关内容请点击：贝叶斯分类

面对二分类问题，贝叶斯公式可以写为如下形式：
$$P(类别1|特征）=\frac{P(特征|类别1)P(类别1)}{P(特征|类别1)P(类别1)+P(特征|类别2)P(类别2)}$$
$$P(c1|x）=\frac{P(x|c1)P(c1)}{P(x|c1)P(c1)+P(x|c2)P(c2)}$$
$$P(c1|x）=\frac{1}{1+\frac{P(x|c2)P(c2)}{P(x|c1)P(c1)}}$$
$$P(c1|x）=\frac{1}{1+e^{-z}}$$
其中：$z=ln(\frac{P(x|c1)P(c1)}{P(x|c2)P(c2)})$，即：
$$\sigma (z)=\frac{1}{1+e^{-z}}$$

2、LogLoss推导
$$y^{{}^{\prime }}=\frac{1}{1+e^{-z}}$$
$z$ 表示逻辑回归中模型线性层的输出，$z = b + w_1x_1 + w_2x_2 + …+w_nx_n $；
$y^{{}^{\prime }}$ 是逻辑回归模型针对特定样本$x$的输出（某一类别的概率）。

在输入特定样本$x$后，样本为1类的概率为$y^{{}^{\prime }}$:
$$P(y=1|x)=y^{{}^{\prime }}$$
所以有：
$$P(y|x)=\{\begin{array}{cc}{y}^{{}^{\prime }}& y=1\\ 1-y^{{}^{\prime }}& y=0\end{array}$$

综合上式，可以得到：
$$P(y|x)=y^{{}^{\prime }y}\cdot (1-y^{{}^{\prime }}{)}^{(1-y)}$$

$$-lnP(y|x)=\sum _{(x,y)\in D}-ylog(y^{\prime })-(1-y)log(1-y^{\prime })$$
故逻辑回归的似然函数为：

$$Logloss=\sum _{(x,y)\in D}-ylog(y^{\prime })-(1-y)log(1-y^{\prime })$$

四、softmax
公式如下：

$$\widehat{y_i}=p(y=i|\text{x})=\frac{e^{({\text{w}}_i^T\text{x}+b_i)}}{{\sum }_{j=1}^n{e}^{({\text{w}}_j^T\text{x}+b_j)}}$$
其中n代表类别总数，也是最后一层神经元的数目，P代表i类的概率
请注意，此公式本质上是将逻辑回归公式延伸到了多类别。

softmax loss函数
$$l(y,\tilde{y})=\sum _{i=1}^n{y}_{i}log\widehat{y_i}$$

其中，$y$ 为真实值，是一个one_hot编码，$\widehat{y_i}$ 为预测值（softmax的输出结果）。

one_hot编码：如果样例 x 是类别 i，则 y 的第 i 维的值为 1，其余维的值为 0（例如，x 是类别 2， 共 4 类，则 y 的 值为 [0, 1, 0, 0]）

cross entropy交叉熵：
$$l(y,\tilde{y})=\sum _{i=1}^n{y}_{i}log\widehat{p_i}$$

当交叉熵损失函数中的 **$\widehat{p_i}$ 为softmax的输出 $\widehat{y_i}$ **时，两者完全相同。

#logits为最后一层的输出
losses = tf.nn.softmax_cross_entropy_with_logits(
    labels=tf.one_hot(labels_placeholder, num_classes),
    logits=logits
)

有关cost function导数推导过程请参考：Softmax 函数与交叉熵