机器学习的数学——分类篇

秃头鸭鸭鸭

已于 2023-04-09 14:52:36 修改

阅读量238

点赞数

分类专栏：机器学习的数学文章标签：机器学习分类人工智能

于 2023-03-03 17:58:49 首次发布

本文链接：https://blog.csdn.net/a3216828/article/details/129300306

版权

机器学习的数学专栏收录该内容

6 篇文章 0 订阅

订阅专栏

感知机模型

如何划分？——找一条直线

表格形式：
在这里插入图片描述
图像形式：

分类的目的就是找到将训练数据划分为两类的那条线（即图中虚线）

怎么找到那条直线——找权重向量

图中虚线是使权重向量成为法线向量的直线。
设权重向量为 $\bm{w}$ ，那么虚线的表达式为：
$\bm{w} · \bm{x}=0$
与 $\bm{w}$ 成直角的向量有很多，他们连成了一条直线。

怎么找到权重向量

在这里插入图片描述
训练数据的准备

接下来根据参数向量 $\bm{x}$ 来判断图像是横向还是纵向。定义如下判别函数：
$f_{\bm{w}}(\bm{x})= \left\{ \begin{array}{lr} 1&(\bm{w}·\bm{x}≥0)\\ -1&(\bm{w}·\bm{x}＜0) \end{array} \right.$
因此，我们假设权重向量 $\bm{w}$ 如图所示，则参数向量 $\bm{x}$ 处于下图阴影部分时，内积为负，权重向量与参数向量不相似，返回-1。
在这里插入图片描述
当参数向量 $\bm{x}$ 处于下图阴影部分时，内积为正，权重向量与参数向量相似，返回1。

在此基础上，我们定义权重向量的更新表达式：
$\bm{w}:= \left\{ \begin{array}{lr} \bm{w}+y^{(i)}\bm{x}^{(i)}&(f_w(x^{(i)})≠y^{(i)})\\ \bm{w}&(f_w(x^{(i)})＝y^{(i)}) \end{array} \right.$
$f_w(x^{(i)})≠y^{(i)}$ 表示判别函数的结果不准确， $f_w(x^{(i)})＝y^{(i)}$ 则表示结果准确。因此参数 $\bm{w}$ 的更新只在判别函数结果不准确时进行。
怎么更新参数 $\bm{w}$ 呢？ $y^{(i)}$ 是常数1或-1，表示方向。因此 $\bm{w}+y^{(i)}\bm{x}^{(i)}$ 只是向量的加减法。
以下为将相似判定为不相似后的参数 $\bm{w}$ 更新情况：
在这里插入图片描述
更新后的参数 $\bm{w}+\bm{x}^{(1)}$ 与 $\bm{x}^{(1)}$ 更相似。

如何解决多分类问题

感知机是一种线性二分类模型，不过可以解决多分类问题。具体怎么实现，值得探讨。

逻辑回归

如何划分？——比较属于某类的概率

图像为纵向的概率是80%、为横向的概率是20%。那么这个图像归入纵向类。

如何表示单条数据的分类概率？——sigmoid函数

假设变量向量 $\bm{x}$ 是横向图像的概率是 $f_{\bm{\theta}}(\bm{x})$ ，那么有：
$P(y=1\space|\space\bm{x})=f_{\bm{\theta}}(\bm{x})$
进而可得判别函数：
$y=\left\{ \begin{array}{lr} 1&(f_{\bm{\theta}}(\bm{x})≥0.5)\\ 0&(f_{\bm{\theta}}(\bm{x})<0.5) \end{array} \right.$
那么 $f_{\bm{\theta}}(\bm{x})$ 到底可以是个什么函数呢？——sigmoid函数
$f_{\theta}(\bm{x})=\frac{1}{1+e^{-\bm{\theta}^T\bm{x}}}$

说明：
① 设横向的值为1，纵向的值为0
② $\bm{x}$ 为变量向量， $\bm{\theta}$ 为参数向量。 $f_{\bm{\theta}}(\bm{x})$ 为参数 $\bm{\theta}$ 情况下输入变量 $\bm{x}$ 对应的概率。
③ 设 $\bm{\theta}^T\bm{x}$ 为横轴， $f_{\bm{\theta}}(\bm{x})$ 为纵轴，那么它的图形是这样的。

④ $0＜f_{\bm{\theta}}(\bm{x})＜1$
⑤ $\bm{\theta}^T\bm{x}=0$ 时， $f_{\bm{\theta}}(\bm{x})=0.5$

于是，我们进一步将判别函数简化为：
$y=\left\{ \begin{array}{lr} 1&({\bm{\theta}}^T\bm{x}≥0)\\ 0&(\bm{\theta}^T\bm{x}<0) \end{array} \right.$
为了便于理解，我们设：
$\bm{\theta}= \begin{bmatrix} \begin{matrix} \theta_0\\ \theta_1\\ \theta_2 \end{matrix} \end{bmatrix}= \begin{bmatrix} \begin{matrix} -100\\ 2\\ 1 \end{matrix} \end{bmatrix}, \bm{x}= \begin{bmatrix} \begin{matrix} 1\\ x_1\\ x_2 \end{matrix} \end{bmatrix}$
则有：
在这里插入图片描述

如何表示多条数据的分类概率？——似然函数

为了求得正确的参数 $\bm{\theta}$ 而定义目标函数，进行微分，然后求参数的更新表达式，这种算法就称为逻辑回归
对于
$P(y=1\space|\space\bm{x})=f_{\bm{\theta}}(\bm{x})$
$y = 1$ 的时候，我们希望概率 $P(y=1|\bm{x})$ （图像为横向）是最大的
$y = 0$ 的时候，我们希望概率 $P(y=0|\bm{x})$ 是最大的
因此可以得到
在这里插入图片描述
我们假定所有的训练数据都是互不影响、独立发生的，这种情况下整体的概率就可以用下面的联合概率来表示。
$L(\bm{\theta})=\prod_{i=1}^n P(y^{(i)}=1\space|\space \bm{x}^{(i)})^{y^{(i)}} P(y^{(i)}=0\space|\space \bm{x}^{(i)})^{1-y^{(i)}}$
当 $y^{(i)}=1$ 时，联合概率包含 $P(y^{(i)}=1\space|\space \bm{x}^{(i)})$ ；
当 $y^{(i)}=0$ 时，联合概率包含 $P(y^{(i)}=0\space|\space \bm{x}^{(i)})$ 。
包含的都是每个独立判别事件成功的概率。
因此，我们要找出使联合概率 $L(\bm{\theta})$ 最大的参数 $\bm{\theta}$ 。这里的目标函数 $L(\bm{\theta})$ 也被称为似然。因此我们要最大化似然函数。

如何最大化似然函数？

如果直接对似然函数 $L(\bm{\theta})$ 微分，因为它是联合概率，而概率都是小于1的数，连乘值会越来越小，当值过小时，编程会出现精度问题。因此我们要对似然函数进行对数化处理。
$\begin{align*} &\log L(\bm{\theta})=\log \prod_{i=1}^n P(y^{(i)}=1\space|\space\bm{x}^{(i)})^{y^{(i)}}P(y^{(i)}=0\space|\space\bm{x}^{(i)})^{1-y^{(i)}}\\ &\phantom{\log L(\bm{\theta})}=\sum_{i=1}^{n}{(y^{(i)} \log P(y^{(i)}=1\space|\space\bm{x}^{(i)})+(1-y^{(i)}) \log P(y^{(i)}=0\space|\space\bm{x}^{(i)}))}\\ &\phantom{\log L(\bm{\theta})}=\sum_{i=1}^{n}{(y^{(i)} \log f_{\bm{\theta}}(\bm{x})+(1-y^{(i)})\log (1- f_{\bm{\theta}}(\bm{x})}))\\ \end{align*}$
接下来开始微分
令 $u=\log L(\bm{\theta})$ ， $v=f_{\bm{\theta}}(\bm{x})$ ， $w=\bm{\theta}^T\bm{x}$
$\begin{align*} &\frac{\partial u}{\partial \theta_j}=\frac{\partial u}{\partial v}·\frac{\partial v}{\partial w}·\frac{\partial w}{\partial \theta_j} \end{align*}$
$\begin{align*} &\frac{\partial u}{\partial v}=\frac{\partial}{\partial v}\sum_{i=1}^{n}{(y^{(i)} \log v+(1-y^{(i)}) \log(1-v))}\\ &\phantom{AB}=\sum_{i=1}^{n}{(\frac{y^{(i)}}{v}-\frac{1-y^{(i)}}{1-v})}\\ \end{align*}$
$\begin{align*} &\frac{\partial v}{\partial w}=\frac{\partial}{\partial w}(\frac{1}{1+e^{-w}})\\ &\phantom{AB}=\frac{e^w}{(e^w+1)^2}\\ &\phantom{AB}=v(1-v) \end{align*}$
$\begin{align*} &\frac{\partial w}{\partial \theta_j}=\frac{\partial}{\partial \theta_j}(\theta_0+\theta_1x_1+\theta_2x_2+...+\theta_nx_n)\\ &\phantom{\frac{\partial w}{\partial \theta_j}}=x_j \end{align*}$
综上所述
$\begin{align*} &\frac{\partial \log L(\bm{\theta})}{\partial \theta_j}=\sum_{i=1}^{n}(y^{(i)}-f_{\bm{\theta}}(\bm{x}^{(i)}))x_j^{(i)} \end{align*}$
最小化时要按照与微分结果的符号相反的方向移动，而最大化要按照与微分结果的符号相同的方向移动，因此
$\theta_j:=\theta_j-\eta\sum_{i=1}^{n}(f_{\bm{\theta}}(\bm{x^{(i)}})-y^{(i)})x_j^{(i)}$

如何解决线性不可分问题？

直线不能分类→用曲线可以分类
在这里插入图片描述
将 $w=\bm{\theta}^T\bm{x}$ 变成曲线，那么只需要增加 $x$ 的次数即可。
例如：
$\bm{\theta}= \begin{bmatrix} \begin{matrix} \theta_0\\ \theta_1\\ \theta_2\\ \theta_3 \end{matrix} \end{bmatrix}= \begin{bmatrix} \begin{matrix} 0\\ 0\\ 1\\ -1 \end{matrix} \end{bmatrix}, \bm{x}= \begin{bmatrix} \begin{matrix} 1\\ x_1\\ x_2\\ x_1^2 \end{matrix} \end{bmatrix}$
在这里插入图片描述