智能计算数学基础——分类问题

不一样的天蝎座

已于 2022-10-13 23:02:11 修改

阅读量243

点赞数

分类专栏：智能计算数学基础文章标签：智能计算数学基础分类问题优化问题

于 2021-07-10 16:10:01 首次发布

本文链接：https://blog.csdn.net/Mr____Cheng/article/details/118632086

版权

智能计算数学基础专栏收录该内容

6 篇文章 3 订阅

订阅专栏

1、引入问题

给定一组数据： $x_1,y_1)，...，(x_N,y_N)$ ，其中， $x_i\in R^2,y_i\in \left\{ \begin{matrix} \pm1 \end{matrix} \right\}$ 。
显然，这是点的二分类问题。
在这里插入图片描述
分类方法有很多，I want：将二维点投影到一维，使得同类近，异类远，这是一个idea。

2、计算投影

将二维空间中的点 $x$ 投影到过原点的直线。
过原点直线上的每个点都可以表示为： $\lambda w$ ，其中 $w$ 表示这条直线上的单位向量，有 $w||=1,||w||^2=w^tw=1$ ， $\lambda$ 在变，只有一个变量。
在这里插入图片描述

将 $x$ 投影到 $\lambda w$ 所在直线，如上图所示，所谓投影，向量 $v$ 垂直于 $\lambda w$ 所在直线， $x=\lambda w+v$ 。
将 $x=\lambda w+v$ 左右两边同左乘以 $w^t$ ,得： $w^t x=\lambda w^t w+w^t v$
由于 $w^tw=||w||^2=1$ ，向量 $v$ 垂直于 $\lambda w$ 所在直线，推导出： $\lambda=w^t x$
也就是说， $x$ 往 $w$ 方向上作投影，得到了 $w^tx)w$ 这个向量，即： $x\overset{投影} {\underset{w}\rightarrow}(w^tx)w$
事实上， $w$ 是个固定的量，相当于 $x_i$ 和 $w^tx_i$ 一一对应，即：
$x_i\rightarrow w^tx_i$
从而，两类点的对应如下：
$1\rightarrow \left\{ \begin{matrix} y_i=1:w^tx_i \end{matrix} \right\}$
$-1\rightarrow \left\{ \begin{matrix} y_i=-1:w^tx_i \end{matrix} \right\}$

3、异类远

异类远，应使投影后两类的均值尽可能大，即：
$\theta_{1}=(\displaystyle\sum_{y_i=1}w^tx_i)/C_1=w^t(\displaystyle\sum_{y_i=1}x_i)/C_1=w^t\mu_1$
$\theta_{-1}=(\displaystyle\sum_{y_i=-1}w^tx_i)/C_{-1}=w^t(\displaystyle\sum_{y_i=-1}x_i)/C_{-1}=w^t\mu_{-1}$
满足： $|\theta_{1}-\theta_{-1}|$ 尽可能大。
其中， $C_1,C_{-1}$ 分别为第一类点和第二类点的个数， $\mu_1,\mu_{-1}$ 分别为第一类点和第二类点的期望。

$|\theta_{1}-\theta_{-1}|^2=|w^t(\mu_1-\mu_{-1})|^2=w^t(\mu_1-\mu_{-1})(w^t(\mu_1-\mu_{-1}))^t=w^t(\mu_1-\mu_{-1})(\mu_1-\mu_{-1})^tw$
将 $(\mu_1-\mu_{-1})(\mu_1-\mu_{-1})^t$ 记作矩阵T，则异类远的问题转化为优化问题：
$max\quad w^tTw\tag{1}$

$|w^t(\mu_1-\mu_{-1})|^2=w^t(\mu_1-\mu_{-1})(w^t(\mu_1-\mu_{-1}))^t$ 的推导技巧：
$w^t(\mu_1-\mu_{-1})$ 是一个数，转置后仍是这个数。

4、同类近

同类近，应使投影后每一类的方差尽可能小，即：
$\displaystyle\sum_{y_i=1}(w^tx_i-\theta_1)^2+\displaystyle\sum_{y_i=-1}(w^tx_i-\theta_{-1})^2$
其中， $\displaystyle\sum_{y_i=1}(w^tx_i-\theta_1)^2$ 和 $\displaystyle\sum_{y_i=-1}(w^tx_i-\theta_{-1})^2$ 分别为投影后第一类点和第二类点的方差。

$\displaystyle\sum_{y_i=1}(w^tx_i-\theta_1)^2$
$=\displaystyle\sum_{y_i=1}(w^tx_i-w^t\mu_1)^2$
$=\displaystyle\sum_{y_i=1}(w^t(x_i-\mu_1))^2$
$=\displaystyle\sum_{y_i=1}w^t(x_i-\mu_1)(x_i-\mu_1)^tw$
$=w^t(\displaystyle\sum_{y_i=1}(x_i-\mu_1)(x_i-\mu_1)^t)w$
$=w^t\Sigma_1w$
同理， $\displaystyle\sum_{y_i=-1}(w^tx_i-\theta_{-1})^2$ = $=w^t\Sigma_{-1}w$

$(x_i-\mu_1)(x_i-\mu_1)^t$ 为第一类点的协方差矩阵。

所以，同类远的问题转化为了优化问题：

$min\quad w^t\Sigma_1w+w^t\Sigma_{-1}w$ 记作：
$min\quad w^tSw\tag{2}$

5、进一步对问题转化

联立(1)(2)，
$\begin{cases} max\quad w^tTw\\ min\quad w^tSw \end{cases} \tag{3}$
一个求最大，一个求最小，不好处理，将(3)简化为一个单目标的优化问题：
$\underset{w}{max}\frac{w^tTw}{w^tSw}\tag{4}$
进一步将(4)转化为标准形式的优化问题：
$\begin{cases} min\quad -w^tTw\\ subject \quad to\quad w^tSw=1 \end{cases} \tag{5}$
这是一个有约束的优化问题。