逻辑回归[2]

逻辑回归算法梳理

1 逻辑回归与线性回归的区别

	线性回归	逻辑回归
目的	预测	分类
$y^{(i)}$	未知	{0,1}
函数	拟合函数	预测函数
参数计算	最小二乘	最大似然估计

• 1 (分类和回归)：逻辑回归与线性回归都属于广义线性回归模型，回归模型就是预测一个连续变量（如降水量，价格等）。在分类问题中，预测属于某类的概率，可以看成回归问题。这可以说是使用回归算法的分类方法。

• 2（输出）：直接使用线性回归的输出作为概率是有问题的，因为其值有可能小于0或者大于1,这是不符合实际情况的，逻辑回归的输出正是[0,1]区间

• 3 （参数估计方法）：

  一. 线性回归中使用的是最小化平方误差损失函数，对偏离真实值越远的数据惩罚越严重——问题：假如使用线性回归对{0,1}二分类问题做预测，则一个真值为1的样本，其预测值为50，那么将会对其产生很大的惩罚，这也和实际情况不符合，更大的预测值说明为1的可能性越大，而不应该惩罚的越严重。

  二.逻辑回归使用对数似然函数进行参数估计，使用交叉熵作为损失函数，对预测错误的惩罚是随着输出的增大，逐渐逼近一个常数，这就不存在上述问题

  三：也正是因为使用的参数估计的方法不同，线性回归模型更容易受到异常值(outlier)的影响，有可能需要不断变换阈值(threshold)

  参考：逻辑回归与线性回归的区别与联系

2 逻辑回归原理

是一种‘$sigmoid$’函数，它将$z$值转化为一个接近0或者1的$y$值

本质：在线性回归模型的预测结果去逼近真实标记的对数几率

3 逻辑回归损失函数推导及优化

逻辑回归公式：
$$h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
$y$的取值有特殊的含义，它表示结果取1的概率，因此对于输入$x$分类结果为类别1和类别0的概率分别为：
$$P(y=1|x;\theta )=h_{\theta }(x)$$

$$P(y=0|x;\theta )=1-h_{\theta }(x)$$

将两公式合成一个：
$$P(y|x;\theta )=(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{1-y}$$
利用最大似然估计，假定样本与样本之间相互独立，那么整个样本集生成的概率即为所有样本生成概率的乘积
$$\begin{gathered} L(\theta )=p(\vec{y}|X:\theta )=\prod _{i=0}^{m}p(y(i)|x^{(i)};\theta ) \\ =\prod _{i=1}^m(h_{\theta }(x^{(i)}){)}^{y^{(i)}}(1-h_{\theta }(x){)}^{1-y^{(i)}} \end{gathered}$$
为了方便求解，这里我们用对数似然函数最大化，对数似然函数取反即为我们的损失函数$J(\theta )$。
$$J(\theta )=-logL(\theta )=-\sum _{i=1}^m[y_{i}log(h_{\theta }(x^{(i)}))+(1-y^{(i)})log(1-h_{\theta }(x(i)))]$$
损失函数$J(\theta )$对$\theta$求导(这里只以一个训练样本为例)
$$\begin{array}{rl}\frac{\partial (J(\theta ))}{\partial ({\theta }_j)}& =-(\frac{y}{g({\theta }^{T}x)}-\frac{1-y}{1-g({\theta }^{T}x)})\frac{\partial (g({\theta }^{T}x))}{\partial ({\theta }_j)}\\ & =-(\frac{y}{g({\theta }^{T}x)}-\frac{1-y}{1-g({\theta }^{T}x)})g({\theta }^{T}x)(1-g({\theta }^{T}x))x_j\\ & =-(y-h_{\theta }(x))x_j\end{array}$$
则对于$\theta$的更新方式：
$${\theta }_j={\theta }_j-\alpha (h_{\theta }(x)-y)x_j$$

• 线性回归和逻辑回归对参数有相同的更新方式

  ps:线性回归的梯度方向

  $$\begin{array}{rl}\frac{\partial }{\partial {\theta }_j}J(\theta )& =\frac{\partial }{\partial {\theta }_j}\frac{1}{2}{\left(h_{\theta }(x)-y\right)}^2\\ & =2\cdot \frac{1}{2}\left(h_{\theta }(x)-y\right)\cdot \frac{\partial }{\partial {\theta }_j}\left(h_{\theta }(x)-y\right)\\ & =\left(h_{\theta }(x)-y\right)\cdot \frac{\partial }{\partial {\theta }_j}\left(\sum _{i=0}^n{\theta }_i{x}_i-y\right)\\ & =\left(h_{\theta }(x)-y\right)x_j\end{array}$$

4 正则化与模型评估指标

• 惩罚高阶参数，使它们趋近于0，这样就会得到较为简单的假设，也就是得到简单的函数，这样就不易发生过拟合。但是在实际问题中，并不知道哪些是高阶多项式的项，所以在代价函数中增加一个惩罚项/正则化项，将代价函数中所有参数值都最小化，收缩每一个参数。

• 实现参数的稀疏有什么好处吗？

  1.简化模型，避免过拟合 ——因为一个模型中真正重要的参数可能并不多，如果考虑所有的参数起作用，那么可以对训练数据可以预测的很好，但是对测试数据表现性能极差

  2.参数变少可以使整个模型获得更好的可解释性

• 参数值越小代表模型越简单

  因为越复杂的模型，越是会尝试对所有的样本进行拟合，甚至包括一些异常样本点，这就容易造成在较小的区间里预测值产生较大的波动，这种较大的波动也反映了在这个区间里的导数很大，而只有较大的参数值才能产生较大的导数。因此复杂的模型，其参数值会比较大

• 正则化方法

  1$L_o$范数：向量中非零元素的个数（$0^0=0$）
  $$||x|{|}_0=\sum _{(i=0)}^n{x}_i^0$$
  若用L_0范数来规则化参数矩阵，就是希望参数矩阵大部分元素都为0，使特征矩阵稀疏。但是很难优化求解。

  2$L_1$范数：向量中各个绝对值元素之和
  $$||x|{|}_1=\sum _{(i=0)}^n|x_i|$$

​ 3 $L_2$范数：各参数的平方和再求平方根
$$||x|{|}_2=\sqrt{\sum _{(i=0{)}^n}|x_i^2|}$$

模型评估指标

• 回归任务常用的性能度量：均方误差

• 分类问题中：

  1 错误率和精度

  2 查准率、查全率、F1

  3 ROC和AUC

  4 代价敏感错误率与代价曲线

5 逻辑回归的优缺点

• 优点：

  1. 适合需要得到一个分类概率的场景
  2. 计算代价不高，容易理解实现。逻辑回归在时间和内存需求上相当高效。它可以应用于分布式数据，并且还有在线算法实现，用较少的资源处理大型数据。
  3. 逻辑回归对于数据中小噪声的鲁棒性很好，并且不会受到轻微的多重共线性的特别影响。（严重的多重共线性则可以使用逻辑回归结合L2正则化来解决，但是若要得到一个简约模型，L2正则化并不是最好的选择，因为它建立的模型涵盖了全部的特征）

• 缺点：

  1. 容易欠拟合，分类精度不高
  2. 据特征有缺失或者特征空间很大时表现效果并不好。

6 样本不均衡问题解决方向

样本不平衡：指分类任务中不同类别的训练样例数目差别很大的情况（假设正样本较少，反类样例较多）

• 欠采样：直接对训练集中的反类样例进行‘欠采样’，即除去一些反例，使正、反例数目接近
• 过采样：增加一些正例，使正、反数目接近
• 阈值移动

7 sklearn 参数

• $sklearn.linea{r}_{m}odel.LogisticRegression$

class sklearn.linear_model.LogisticRegression(penalty=’l2’, dual=False, tol=0.0001, C=1.0,fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None,solver=’liblinear’, max_iter=100, multi_class=’ovr’, verbose=0,warm_start=False, n_jobs=1)

参数
$penalty$	惩罚项，str类型，默认为l2
$dual$	对偶或原始方法，bool类型，默认为False
$tol$	停止求解的标准，float类型，默认为1e-4
$c$	正则化系数λ的倒数，float类型，默认为1.0。必须是正浮点型数。像SVM一样，越小的数值表示越强的正则化
$fit\_intercept$	是否存在截距或偏差，bool类型，默认为True
$intercept\_scaling$	仅在正则化项为”liblinear”，且fit_intercept设置为True时有用。float类型，默认为1
$class\_weight$	用于标示分类模型中各种类型的权重
$random\_state$	随机数种子，int类型，可选参数，默认为无，仅在正则化优化算法为sag,liblinear时有用
$solve$	优化算法选择参数，只有五个可选参数，即newton-cg,lbfgs,liblinear,sag,saga
$max\_iter$	算法收敛最大迭代次数，int类型，默认为10。仅在正则化优化算法为newton-cg, sag和lbfgs才有用，算法收敛的最大迭代次数。
$multi\_class$	分类方式选择参数，str类型，可选参数为ovr和multinomial，默认为ovr。ovr即前面提到的one-vs-rest(OvR)，而multinomial即前面提到的many-vs-many(MvM)。如果是二元逻辑回归，ovr和multinomial并没有任何区别，区别主要在多元逻辑回归上
$verbose$	日志冗长度，int类型。默认为0。就是不输出训练过程，1的时候偶尔输出结果，大于1，对于每个子模型都输出。
$warm\_start$	热启动参数，bool类型。默认为False。如果为True，则下一次训练是以追加树的形式进行（重新使用上一次的调用作为初始化）
$n\_jobs$	并行数。int类型，默认为1。1的时候，用CPU的一个内核运行程序，2的时候，用CPU的2个内核运行程序。为-1的时候，用所有CPU的内核运行程序