机器学习理论知识-逻辑回归

紧接着上一章节的线性回归，这一周学习下逻辑回归。同样参照的资料斯坦福大学2014（吴恩达）机器学习教程中文笔记
那本文的知识体系如下：

基本知识点

定义

而线性回归$y_i=w_i\ast x_i+b$，模型的范围是可以为$\left { -∞，+∞ \right } $，线性回归能预测连续的值，然而对于分类问题，我们的因变量可能属于两个类别正向类和负向类，即$y\in \left { 0,1\right } $，我们可以设置某个阈值来进行划分，那这个阈值怎么选择呢，是不太好选择的。那么我们就需要引入一个函数$g(x)$，将模型的输出变量范围控制在$\left [ 0,1 \right ] $，所以逻辑回归的模型假设是：$h_{\theta } (x)=g(\theta ^{T}X) $，其中$X$表示特征向量，$g$表示逻辑函数，常用的逻辑函数是sigmoid函数$g(z)=\frac{1}{1+e^{-z} } $

所以逻辑回归的表达是：
$$h_{\theta }(x)=P(y=1|x;\theta )=\frac{1}{1+e^{-{\theta }^{T}X}}$$
即：给定x，通过已经确定的参数计算得到$h_{\theta }(x)=0.7$，则表示有70%的概率y为正向类，相应地y为负向类的概率为30%.

解决哪些问题：

在分类问题中，我们尝试预测的是结果是否属于某一个类（例如正确或错误）。分类问题的例子有：判断一封电子邮件是否是垃圾邮件；判断一次金融交易是否是欺诈；之前我们也谈到了肿瘤分类问题的例子，区别一个肿瘤是恶性的还是良性的。

分类问题实际上就是找到一个足够优秀的判定边界。

代价函数

逻辑回归的代价函数：
$$J(\theta )=\frac{1}{m}Cost(h_{\theta }(x^{(i)},y^{(i)})$$
其中：

其中$h_{\theta }(x)$与$Cost(h_{\theta }(x ,y)) $的关系图如下：

这样的话构造的$Cost(h_{\theta }(x ,y)) $函数的特点是：当实际$y=1$且$h_{\theta }(x)$也为1时误差为0，当$y=1$但$h_{\theta }(x)$不为1时误差随着$h_{\theta }(x)$的变小而变大；当实际的$y=0$且$h_{\theta }(x)$也为0时代价为0，当$y=0$且$h_{\theta }(x)$不为0时，误差随着$h_{\theta }(x)$的变大而变大。

最后简化得到：
$J\left(\theta \right)=\frac{1}{m}\sum _{i=1}^m[-y^{(i)}\log \left(h_{\theta }\left(x^{(i)}\right)\right)-\left(1-y^{(i)}\right)\log \left(1-h_{\theta }\left(x^{(i)}\right)\right)]$
接着我们就可以使用梯度下降算法，对该代价函数求解最优值。

推导

推导过程在原始笔记中记录的十分详细，如下图：

所以如果要更新参数的话，应该是通过如下式子进行更新：

与线性回归的异同

• 线性回归只能用于回归问题，逻辑回归虽然名字叫回归，但是更多用于分类问题
• 线性回归要求因变量是连续性数值变量，而逻辑回归要求因变量是离散的变量
• 线性回归与逻辑回归其梯度下降算法进行参数更新的规则是一致的，都是${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}){x_j}^{(i)}$，但是线性回归与逻辑回归的表达式不太一致，线性回归的表达式为：$h_{\theta }\left(x\right)={\theta }^{T}X={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n$。而逻辑回归的表达式为：$h_{\theta }\left(x\right)=\frac{1}{1+e^{-{\theta }^{T}X}}$，所以线性回归与逻辑回归的梯度下降实际上是两个完全不同的东西。

逻辑回归的优缺碘

优点：

• 实现简单，广泛的应用于工业问题上；

• 分类时计算量非常小，速度很快，存储资源低；

• 便利的观测样本概率分数；

• 对逻辑回归而言，多重共线性并不是问题，它可以结合L2正则化来解决该问题；

• 计算代价不高，易于理解和实现；
  缺点：

• 当特征空间很大时，逻辑回归的性能不是很好；

• 容易欠拟合，一般准确度不太高

• 不能很好地处理大量多类特征或变量；

• 只能处理两分类问题（在此基础上衍生出来的softmax可以用于多分类），且必须线性可分；

• 对于非线性特征，需要进行转换；

面试考点

为何使用sigmoid函数

由于对最大熵模型以及一些分布不是很了解，我这边先补充一些来学习链接
解释logistic回归为什么要使用sigmoid函数
为什么 LR 模型要使用 sigmoid 函数，背后的数学原理是什么？

为何不继续使用均方误差作为代价函数

因为使用均方误差作为逻辑回归的代价函数，得到的代价函数是非凸函数，代价函数非凸就会影响梯度下降算法寻找全局最小值，可能会找到局部最小值

与其他分类模型比较