《机器学习by周志华》学习笔记-线性模型-02对数几率回归与线性判别分析

AI酱的读书笔记

已于 2024-08-16 18:15:10 修改

阅读量965

点赞数 23

分类专栏：机器学习机器学习by周志华文章标签：机器学习学习笔记线性代数数学建模矩阵

于 2024-04-17 17:55:44 首次发布

本文链接：https://blog.csdn.net/vanilla698/article/details/137687190

版权

本文详细介绍了机器学习中的对数几率回归，包括背景、概念和求解过程，强调了它是通过线性回归模型逼近真实标记的对数几率来进行分类的方法。接着探讨了线性判别分析（LDA），阐述了其概念、作用和推导过程，特别是在二分类和多分类问题中的应用，指出LDA是一种经典的监督降维技术。

摘要由CSDN通过智能技术生成

1、对数几率回归

1.1、背景

上一节我们考虑了线性模型的回归学习，但是想要做分类任务就需要用到上文中的广义线性模型。

当联系函数 $g(\cdot )$ 连续且充分光滑，考虑单调可微函数 $g(\cdot )$ ，令：

$y=g^{-1}(w^{T}+b)$

1.2、概念

找一个单调可谓函数 $g(\cdot )$ ，将分类任务的真实标记 $y_{i}$ 与线性回归模型的预测值 $f(xi)$ 联系起来，也叫做「Heaviside函数」。

在二分类任务中，输出的真实标记 $y_{i}\in \left \{ 0,1 \right \}$ ，而线性回归模型产生的预测值 $f(x)=w^{T}+b$ 是实数值。于是我们将 $f(x)$ 转化为0、1值。最理想的情况就是「单位阶跃函数（unit-step function）」，如下所示：

$y=\begin{cases} 0, \text{ f(x)< 0 } \\ 0.5, \text{ f(x)= 0 } \\ 1, \text{ f(x)> 0 } \end{cases}$

若 $f(x)> 0$ ,就判为正例；

若 $f(x)< 0$ ,就判为反例；

若 $f(x)= 0$ ,则可任意判别；

如下图所示（红色部分）

黑色部分函数，则称为「对数几率函数」，简称「对率函数」。

从上图可以看出，「单位阶跃函数（unit-step function）」（2条红线+一个点）不连续，因此不能直接用做 $g^{-1}$ ,我们可以在上图中，用「单位阶跃函数」的「替代函数」（对率函数）来用作 $g^{-1}$ 。并且需要该函数单调可微。可得出：

$g^{-1}=y=\frac{1}{1+e^{-f(x)}}=\frac{1}{1+e^{-(w^{T}+b)}}$

Sigmoid函数：

Sigmoid函数即S形函数。「对率函数」是Sigmoid函数最重要的代表。我们将会在后面「神经网络」将看到他在神经网络中的重要作用。

综上所述，「对率函数」将f(x)转化为一个接近0或1的y值。并且值得范围在f(x)=0附近变化斜率高。

上述式子可以变化为：

$ln\frac{g^{-1}}{1-g^{-1}}=w^{T}+b$

将 $g^{-1}$ 视作样本x为正例的可能性。则 $1-g^{-1}$ 视作样本x为负例的可能性。两者的比值：

$\frac{g^{-1}}{1-g^{-1}}$

称为「几率（odds）」

几率（odds）:

Odds=P/(1-P)

Odds（几率）的计算公式为Odds=P/(1-P)，这里的P是指某个事件发生的概率。

Odds是用来表示一个事件发生与不发生的比例，当P=0.5时，Odds=1，当P=0，则Odds趋向于无穷大，反之，当P=1，则Odds趋向于0。

对几率（odds）取对数，则得到了「对数几率（log odds）」,也叫做logit。如下表示：

$ln\frac{g^{-1}}{1-g^{-1}}$

上述式子，有文献译为「逻辑回归」。但中文「逻辑」与logisitic和logit的含义较大，此处作者翻译为「对数几率回归」，简称「对率回归」。

因为 $ln\frac{g^{-1}}{1-g^{-1}}=w^{T}+b$ 中的 $w^{T}+b=y$ ，故我们可以得出：

该等式左边是：线性回归模型的预测结果

而等式右边是：该模型的真实标记 $yi$

因此，我们得出的公式结果，实际上就是在用线性回归模型的预测结果，去逼近真实标记 $yi$ 的对数几率。所以其对应的模型称为「对数几率回归」。

需要注意的是，它的名字中虽然有回归，但实际是却是一种分类学习方法。其优点如下：

他是直接对分类可能性进行建模，无需事先假设数据分布，这样就避免分布不准确所带来的问题。

它不仅是预测出「类别」，而是可得到近似概率预测，这对许多需利用概率辅助决策的任务很有用。

此外，对数函数是任意阶可导的凸函数，有很好的数学性质，现有的许多数值优化算法都可直接用于求取最优解。