机器学习入门（四）逻辑回归

最新推荐文章于 2024-07-25 12:14:33 发布

APS2023

最新推荐文章于 2024-07-25 12:14:33 发布

阅读量358

点赞数 1

分类专栏：机器学习文章标签：机器学习逻辑回归分类

本文链接：https://blog.csdn.net/qq_41694024/article/details/127617624

版权

机器学习专栏收录该内容

8 篇文章 9 订阅

订阅专栏

4 逻辑回归

4.0 概述

不同于线性回归，逻辑回归是对样本进行分类。

比如分类邮件是不是垃圾邮件；肿瘤是良性的还是恶性的....

比如我们判断以肿瘤大小与是否是恶性肿瘤？我们得确定一个相对阈值，比如超过0.6就是恶性肿瘤，这个阈值是怎么选择出来的，这些都是我们接下来要讨论的！

4.1 逻辑回归模型

4.1.1 假设函数

我们想要假设函数取值在0-1之间，因为我们要设定一个阈值（0-1），超过这个阈值就认为是什么分类（正分类或负分类）。

假设函数如下：

$h_{\theta}(x) = \frac{1}{1+e^{-\theta^T x}}$

这里， $\theta^T$ 是指特征向量。图像如下， $\theta^T x = \theta_{1}x_{1}+ \theta_{2}x_{2}+ ... \theta_{n}x_{n}$

这里 $h_{\theta}(x)$ 理解为在输入为x的情况下输出为1的概率。

这个例子就是告诉患者肿瘤恶性的可能性为70%，可以用 $P(y=0|x;\theta)$ 概率表示，即给定输入 $x$ 和 $\theta$ ，预测肿瘤是为恶性的概率。

4.1.2 决策边界

在具有两个类的统计分类问题中，决策边界或决策表面是超曲面，其将基础向量空间划分为两个集合，一个集合。分类器将决策边界一侧的所有点分类为属于一个类，而将另一侧的所有点分类为属于另一个类。

那么怎么确定这个决策边界呢？ $\theta^T x = \theta_{1}x_{1}+ \theta_{2}x_{2}+ ... \theta_{n}x_{n} = 0$ 即可，我们举例子看一下：

我们认为⚪代表是负样本，×代表的是正样本， $\theta^T x = -3 + x_{1} + x_{2}$ ，我们的决策边界就是 $x_{1} + x_{2} = 3$ ，即如果 $x_{1} + x_{2} > 3$ ，我们认为 $y=1$ ，即为正样本。

对非线性决策边界也使用：如下图

4.2 代价函数

4.2.1 代价函数及其理解

线性回归的代价函数不适用于逻辑回归。在这里我们选用如下代价函数：

$Cost(h_{\theta}(x),y) = \left\{\begin{matrix} -log(h_{\theta}(x)) \ \ \ if \ y=1\\ -log(1-h_{\theta}(x)) \ \ \ if \ y=0 \end{matrix}\right.$

我们理解下如上代价函数：

假设函数

y=1时的代价函数

当 $y = 1$ 且 $h_{\theta}(x) = 1$ 时代价函数 $Cost(h_{\theta}(x),y)$ 为0；也就是说，样本预测是正样品且真是是正样品时代价函数值接近为0，但是如果 $h_{\theta}(x) \rightarrow 0$ 且 $y = 1$ 时代价函数 $Cost(h_{\theta}(x),y)$ 就趋于无穷大！

$y=0$ 时的分析和上述相似，这里不再推导。

4.2.2 简化代价函数

$Cost(h_{\theta}(x),y) = \frac{1}{m}\sum_{i=1}^{m} Cost(h_{\theta}(x^{(i)}),y^{(i)}) = -\frac{1}{m}\begin{bmatrix} \sum_{i=1}^{m} ( y^{(i)}log(h_{\theta}(x^{(i)})) + (1-y^{(i)})log(1-h_{\theta}(x^{(i)})) \end{bmatrix}$

这里我们还是要寻找一个最优的 $\theta$ ，使得此 $\theta$ 满足 $\underset{\theta}{min}\jmath (\theta)$ ，用这个 $\theta$ 构造的 $h_{\theta}(x)$ 对输入的 $x$ 得出一个0-1的值，再选择一个阈值去判断这是正样本还是负样本达到分类的目的。

4.2.3 梯度下降法

这里仍然是对代价函数求偏导逐步得到最终结果的：

重复执行下列过程：

$\theta_{j} := \theta_{j} - \alpha \sum_{i=1}^{m}(y^{(i)}logh_{\theta}(x^{(i)})-y^{(i)})x_{j}^{(i)}$

直至代价函数变化小于某一阈值我们认为其收敛。

4.3 多元分类

我们之前根据肿瘤大小将肿瘤分类成良性和恶性，但是这并不满足临床要求。临床中可以把肿瘤分为Ⅰ期、Ⅱ期、Ⅲ期、Ⅳ期.......

我们处理多元分类的思想就是两个两个一组进行分类，为每个对象训练逻辑回归分类器 $h_{\theta}^{(i)}(x)$ 用于预测 $y=i$ 的可能性概率，在新输入 $x$ 上，要进行预测，请选择最大化的类 $i$ 。即 $\underset{i}{max}h_{\theta}^{(i)}(x)$ 。