机器学习笔记 -- LR 逻辑回归

最新推荐文章于 2022-11-27 14:34:55 发布

你的一切都是星尘

最新推荐文章于 2022-11-27 14:34:55 发布

阅读量191

点赞数 1

本文链接：https://blog.csdn.net/qq_33826592/article/details/89641594

版权

机器学习专栏收录该内容

6 篇文章 0 订阅

订阅专栏

逻辑回归

一、线性回归
二、逻辑回归
参考文献

逻辑回归主要用来解决分类问题

一、线性回归

基本形式

$f(\bm x-)=\boldsymbol{w}^T\boldsymbol{x}+b$

输入属性只有一个的情况下，试图学得 $f(x_i)=wx_i+b$ ，使得 $f(x_i)\simeq y_i$ .

学习策略

均方误差最小化：

$\begin{aligned} (w^*,b^*) &=\mathop{\arg\min}_{(w,b)} \sum_{i=1}^{m} {(f(x_i)-y_i)^2}\\ &=\mathop{\arg\min}_{(w,b)} \sum_{i=1}^{m} {(y_i-wx_i-b)^2} \end{aligned}$

求解 $w$ 和 $b$ 使 $E_{(w,b)}=\sum_{i=1}^{m}{(y_i-wx_i-b)^2}$ 最小化的过程称为线性回归模型的最小二乘“参数估计”.
将 $E_{(w,b)}$ 分别对 $w$ 和 $b$ 求导，得

$\frac{ \partial{ E_{(w,b)} } }{ \partial w}=2\left( w\sum_{i=1}^m x_i^2 - \sum_{i=1}^{m}{(y_i-b)x_i}\right)$

$\frac{ \partial{ E_{(w,b)} } }{ \partial b}=2\left( mb-\sum_{i=1}^m {(y_i-wx_i)} \right)$

由于 $E_{(w,b)}$ 是关于 $w$ 和 $b$ 的凸函数，当以上两个导数为0时，可以得到 $w$ 和 $b$ 的最优解（《机器学习》page.54）
多个属性的情形涉及矩阵运算，以后补充.

广义线性模型

考虑单调可谓函数 $g(\cdot)$ ，则 $y=g^{-1}(\boldsymbol w^T \boldsymbol x +b)$ 称为“广义线性模型”，

例如 $g(\cdot) = \ln (\cdot)$ 时为对数线性回归 $\ln y=\boldsymbol w ^T \boldsymbol x + b$

二、逻辑回归

若要用线性模型做分类任务，则需在上述广义线性模型中找到一个单调可微函数将分类任务的真实标记 y 与线性回归模型的预测值联系起来.

考虑二分类任务， $y\in \left\{ 0,1 \right\}$ ，线性回归模型产生的预测值 $z=\boldsymbol w ^T \boldsymbol x + b$ 是实值，我们需要将 $z$ 转化为 $0 / 1$ ，最理想的是“单位阶跃函数” $\begin{cases} 0, & z<0 \\ 0.5, & z=0 \\ 1, & z>0 \end{cases}$ .

引入（对数几率函数）

logistic function

由于单位阶跃函数不连续，因此采用一个单调可微的一种 $S i g m o i d$ 函数替代：
$\frac{1}{1+e^{-z}}$

将对数几率函数作为 $g^{-1} (\cdot)$ 带入广义线性模型 $y=g^{-1}(\boldsymbol w^T \boldsymbol x +b)$ 得

$\frac{1}{1+ e^{ - (\boldsymbol w^T \boldsymbol x +b)}}$

（可以理解为把线性回归模型的输出作为sigmoid函数的输入）

$\Rightarrow \ln \frac{y}{1-y} = \boldsymbol w^T \boldsymbol x +b$

（其中 $\frac{y}{1-y}$ 称为“几率”（odds），反映了 $\boldsymbol x$ 作为正例的相对可能性）

为便于讨论，令 $\bm w=(\bm w;b), \bm x=(\bm x;1)$ 则 $\bm{w}^T \bm x + b$ 可简写为 $\bm{w}^T \bm x$ 。
若将上述 $y$ 视为类后验概率估计 $p (y = 1 ∣ x)$ ，上式可以重写为

$\ln \frac{p(y=1|x)}{p(y=0|x)} = \boldsymbol w^T \boldsymbol x$

1. 公式推导

属性取值为 $x$ 的时候 $y = 1$ 和 $y = 0$ 的条件概率分别为（可由以上引入得出）

$\frac{e^{\bm{w}^T \bm x }} {1+ e^{\bm{w}^T \bm x }}$

$\frac{1} {1+ e^{\bm{w}^T \bm x}}$

那么将两个式子合在一起，可以表示一个样本 $x_i,y_i)$ 出现的概率

$p(y_i,x_i) =p(y=1|x)^{y_i}(1-p(y=1|x))^{1-y_i}$

那我们的整个样本集出现的概率，也就是n个独立的样本出现的似然函数为（因为每个样本都是独立的，所以n个样本出现的概率就是他们各自出现的概率相乘）

$L(\bm w) = \prod _{i=1}^ N p(y_i=1|x_i)^{y_i}(1-p(y_i=1|x_i))^{1-y_i}$

最大似然法就是求模型中使得似然函数最大的系数取值 $w^*$ (即令每个样本属于其真实标签的概率越大越好)。

对数似然函数为

$\begin{aligned} \ln L(\bm w) & = \ln\prod _{i=1}^ N p(y_i=1|x_i)^{y_i}(1-p(y_i=1|x_i))^{1-y_i}\\ &= \sum _{i=1} ^ N [y_i \ln p(y_i=1|x_i) + (1-y_i)\ln(1- p(y_i=1|x_i))]\\ &= \sum _{i=1} ^ N [y_i \ln \frac { p(y_i=1|x_i)}{1- p(y_i=1|x_i)} +\ln (1- p(y_i=1|x_i))]\\ &= \sum _{i=1} ^ N [y_i (\bm{w}^T \bm x_i) + \ln(1-\frac{e^{\bm{w}^T \bm x_i}} {1+ e^{\bm{w}^T \bm x_i}})]\\ &= \sum _{i=1} ^ N [y_i (\bm{w}^T \bm x_i) - \ln( {1+ e^{\bm{w}^T \bm x_i}})] \end{aligned}$

对数似然函数与损失函数的关系： 实际上，对数似然损失在单个数据点上的定义为：

$−y_i\ln p(y_i| \bm x_i)−(1−y_i)\ln [1−p(y_i|\bm x_i)]$

如果取整个数据集上的平均对数似然损失，可以得到:

$J(\bm w)=−\frac {1} {N} \ln L(\bm w)$

即在逻辑回归模型中，我们最大化似然函数和最小化对数似然损失函数实际上是等价的。

代价函数有了，下一步要做的就是优化求解了。先尝试对上面的代价函数求导，发现导数为 $0$ 的时候无法解析求解。因此只能借助迭代来求解 $\ln L(\bm w)$ 求极大值(也可认为是求 $J(\bm w)$ 的最小值)，得到 $\bm w$ 的估计值。逻辑回归学习中通常采用的方法是梯度下降法和牛顿法。

$\ln L(\bm w)$ 对 $\bm w$ 求导得

$\frac{ \partial{ \ln L(\bm w) } }{ \partial \bm w} = \sum _{i=1} ^ N \left (y_i \bm x_i - \frac{e^{\bm{w}^T \bm x_i}} {1+ e^{\bm{w}^T \bm x_i}} \bm x_i \right ) = \sum _{i=1} ^ N \left (y_i - p(y=1|x) \right ) \bm x_i$

无法求解析解