机器学习笔记(三)

线性模型

3.1 基本形式

给定由 $d$ 个属性描述的示例 $x=(x_1;x_2;\cdots ;x_d)$，其中 $x_i$ 是 $\vec{x}$ 在第 $i$ 个属性上的取值，线性模型(linear model) 试图学得一个通过属性的线性组合来进行预测函数，即
$$f(x)=w_1{x}_1+w_2{x}_2+\cdots +w_d{x}_d+b\text{\hspace{1em}(3.1)}$$
一般用向量形式写成
$$f(x)=w^{T}x+b\text{\hspace{1em}(3.2)}$$
其中，$\vec{w}=(w_1;w_2;\cdots ;w_d)$。$\vec{w}$ 和 $b$ 学得之后，模型就得以确定。线性模型形式简单、易于建模，但却蕴涵着机器学习中一些重要的基本思想。许多功能更为强大的非线性模型(nonlinear model)可在线性模型的基础上通过引用层级结构或高维映射而得。

3.2 线性回归

给定数据集 D = { ( x 1 , y 1 ) , ( x 2 , y x ) , ⋯   , ( x m , y m ) } D = \lbrace(x_1, y_1),(x_2, y_x), \cdots ,(x_m, y_m) \rbrace D={(x1​,y1​),(x2​,yx​),⋯,(xm​,ym​)}，其中 $x_i=(x_{i1};x_{i2};\cdots ;x_{di}),y_i\in \mathbb{R}$。“线性回归”(linear regression) 试图学得一个线性模型以尽可能准确地预测实值输出标记。

线性回归试图学得
$$f(x_i)=w{x}_i+b,使得f(x_i)\simeq y_i\text{\hspace{1em}(3.3)}$$
如何确定上式中的 $w$ 和 $b$ 呢? 显然，关键在于如何衡量 $f(x)$ 与 $y$ 之间的差别。均方误差是回归任务中最常用的性能度量，因此我们可以试图让均方误差最小化，即
$$\begin{gathered} (w^{\ast },b^{\ast })=\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m{\left(f(x_i)-y_i\right)}^2= \\ \underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m{\left(y_i-w{x}_i-b\right)}^2\text{\hspace{1em}(3.4)} \end{gathered}$$
均方误差有非常好的几何意义，它对应了常用的欧几里得距离或简称"欧氏距离"(Euclidean distance)。基于均方误差最小化来进行模型求解的方法称为"最小二乘法"(least square methon)。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。

最小二乘法用途很广，不仅限于线性回归。最小二乘也是一种数学优化技术，通过最小化误差平方和寻找数据的最优函数匹配。

求解 $w$ 和 $b$ 使 $E_{(w,b)}={\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2$ 最小化的过程，称为线性回归模型的最小二乘"参数估计"(parameter estimation)。我们可将 $E_{(w,b)}$ 分别对 $w$ 和 $b$ 求导，得到
$$\frac{\partial E_{(w,b)}}{\partial w}=2\left(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i\right)\text{\hspace{1em}(3.5)}$$

$$\frac{\partial E_{(w,b)}}{\partial b}=2\left(mb-\sum _{i=1}^m(y_i-w{x}_i)\right)\text{\hspace{1em}(3.6)}$$

然后令式$(3.5)$和式$(3.6)$ 为零可得到 $w$ 和 $b$ 最优解的闭式(closed-form)解
$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\overline{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}{\left({\sum }_{i=1}^m{x}_i\right)}^2}\text{\hspace{1em}(3.7)}$$

$$b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)\text{\hspace{1em}(3.8)}$$

其中，$\overline{x}=\frac{1}{m}{\sum }_{i=1}^m{x}_i$ 为 $x$ 的均值。

解析解为一封闭函数。因此对任一独立变量，我们皆可将其代入解析函数求得正确的相应变量，因此，解析解也被称为闭式解。

函数的封闭性，是指对函数进行加减乘除运算后，函数的性质不变；

函数的性质：对称性、奇偶性、单调性…

更一般的情形是，如本节开头的数据集 $D$，样本由 $d$ 个属性描述。此时我们试图学得
$$f(x_i)=w^T{x}_i+b,使得f(x_i)\simeq y_i$$
这称为"多元线性回归"(multivariate liner regression)。

在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。

事实上，一种现象常与多个因素相联系的，由多个自变量的最优组合共同预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。因此，多元线性回归比一元线性回归的实际意义更大。

类似的，可利用最小二乘法来对 $w$ 和 $b$ 来进行估计。为了便于讨论，我们把 $w$ 和 $b$ 吸收入向量形式 $\hat{w}=(w;b)$ ，相应的，把数据集 $D$ 表示为一个 $m\times (d+1)$ 大小的矩阵 $X$ ，其中，每行对应一个示例，该行前 $d$ 个元素对应于示例的 $d$ 个属性值，最后一个元素(偏置项)恒置为 1, 即
$$X=\left(\begin{array}{cccc}{x}_{11}& x_{12}& \cdots x_{1d}& 1\\ x_{21}& x_{22}& \cdots x_{2d}& 1\\ ⋮& ⋮& \ddots ⋮& ⋮\\ x_{m1}& x_{m2}& \cdots x_{md}& 1\end{array}\right)=\left(\begin{array}{cc}{x}_1^T& 1\\ x_2^T& 1\\ ⋮& ⋮\\ x_m^T& 1\end{array}\right)$$
再把标定也写成向量形式$y=(y_1;y_2;\cdots ;y_m)$，则类似于式(3.4)，有
$${\hat{w}}^{\ast }=\underset{\hat{w}}{\mathrm{argmin}}(y-X\hat{w}{)}^T(y-X\hat{w})\text{\hspace{1em}(3.9)}$$
令 $E_{\hat{w}}=(y=X\hat{w}{)}^T(y-X\hat{w})$，令 $\hat{w}$ 求导得到
$$\frac{\partial E_{\hat{w}}}{\partial \hat{w}}=2X^T(X\hat{w}-y)\text{\hspace{1em}(3.10)}$$
令上式为零，可得 $\hat{w}$ 最优解的闭式解。

当 $X^{T}X$ 为满秩矩阵(full-rank matrix)或正定矩阵(positive definite matrix)时，令式(3.10)为零可得
$${\hat{w}}^{\ast }=(X^{T}X{)}^{-1}y\text{\hspace{1em}(3.11)}$$

矩阵的秩

任意矩阵可经过初等变换，化为行阶梯形矩阵，这个行阶梯形矩阵所含的非零行数为矩阵的秩。

满秩不局限于 n 阶矩阵,若矩阵秩等于行数，则称为行满秩；若矩阵秩等于列数，则称为列满秩。既是行满秩又是列满秩的 n 阶矩阵，即为 n 阶方阵；

正定矩阵

广义定义：设 $M$ 是 $n$ 阶方阵，如果对任何非零向量 $z$，都有 $z^{T}Mz>0$，其中，$z^T$ 表示 $z$ 的转置，就称 $M$ 为正定矩阵。

狭义定义：一个 $n$ 阶的实对称矩阵 $M$ 是正定的条件是当且仅当对于所有的非零实系数向量 $z$，都有$z^{T}Mz>0。$其中，$z^T$ 表示 $z$ 的转置。

其中，$(X^{T}X{)}^{-1}$ 是矩阵 $(X^{T}X)$ 的逆矩阵，令 ${\hat{x}}_i=(x_i;1)$，则最终学得的多元线性回归模型为
$$f({\hat{x}}_i)={\hat{x}}_i^T(X^{T}X{)}^{-1}{X}^{T}y\text{\hspace{1em}(3.12)}$$
然而，现实任务中 $X^{T}X$ 往往不是满秩矩阵，例如在许多任务中我们会遇到大量的变量，其数目甚至超过样例数，导致 $X$ 的列数多于行数，$X^{T}X$ 显然不满秩，此时，可解聘多个 $\hat{w}$，它们均能使均方误差最小化。选择哪一个解作为输出将由学习算法的归纳偏好决定，常见的做法是引入正则化(regularization) 项。

线性模型虽然简单，却有丰富的变化。例如对于样例$(x,y),y\in \mathbb{R}$，当我们希望线性模型 (3.2)的预测值逼近真实标记 $y$ 时，就得到了线性回归模型，为便于观察，我们把线性模型简写为
$$y=w^{T}x+b\text{\hspace{1em}(3.13)}$$
可否令模型预测值逼近 $y$ 的衍生物呢？譬如说，假设我们认为示例所对应的输出标记是指数尺度上的变化，那就可将输出标记的对数作为线性模型逼近的目标，即
$$\ln y=w^{T}x+b\text{\hspace{1em}(3.14)}$$
这就是“对数回归(log-liner regression)”，它实际上是在试图让 $e^{w^T+b}$ 逼近 $y$ 。式(3.14) 在形式上仍然是线性回归，但实质上已是在求输入空间到输出空间的非线性函数映射，如图 3.1 所示，这里的对数函数起到了将线性回归模型的预测值与真实标记联系起来的作用。

更一般地，考虑单调可微函数 $g(\cdot )$，令
$$y=g^{-1}(w^T+b)\text{\hspace{1em}(3.15)}$$
这样得到的模型称为"广义线性模型(generalized linear model)"，其中函数 $g(\cdot )$ 称为"联系函数"(link function)。显然，对数线性回归是广义线性模型在 $g(\cdot )=\ln (\cdot )$ 时的特例。

$g(\cdot )$ 连续且充分光滑

光滑函数(smooth function)在数学中特指无穷阶可导的函数。若一函数是连续的，则称其为 $C^0$ 函数；若函数1阶可导，且其1阶导函数连续，则被称为 $C^1$ 函数；若 $n$ 阶可导，且其 $n$ 阶导函数连续，则为$C^n$ 函数。而光滑函数是对所有 $n$ 都属于 $C^n$ 的函数，特称其为光滑函数。

可微函数

在微积分学中，可微函数是指那些在定义域中所有点都存在导数的函数。可微函数的图像在定义域内的每一点上必存在非垂直切线。因此，可微函数的图像是相对光滑的，没有间断点、尖点或任何有垂直切线的点。

广义线性模型的参数估计通过加权最小二乘法或极大似然法进行。

加权最小二乘

加权最小二乘法是对原模型进行加权，使之成为一个新的不存在异方差性的模型，然后采用普通最小二乘法估计其参数的一种数学优化技术。

3.3 对数几率回归

考虑到二类分类任务，其输出标记 y ∈ { 0 , 1 } y \in \lbrace 0, 1\rbrace y∈{0,1}，而线性回归模型产生的预测值 $z=w^{T}x+b$ 是真实值，于是，我们需要将实值 $z$ 转换为 $0/1$ 值。最理想的是"单位阶跃函数(unit-step function)"
$$y=\{\begin{array}{ll}0,& z<0;\\ 0.5,& z=0;\\ 1,& z>0,\end{array}\text{\hspace{1em}(3.16)}$$
即若预测值 $z$ 大于零就判为正例，小于零则判为反倒，预测值为临界值零则可任意判别；

单位阶跃函数又称单位布阶函数目前有三种定义，共同之处是自变量取值大于0时，函数值为1；自变量取值小于0时，函数值为0，不同之处是，自变量为0时，函数值各不相同。

第一种定义，自变量为 0 时，函数值不确定或不定义：
$$H(t)=\{\begin{array}{ll}1,& t>0\\ 0,& t<0\end{array}$$
第二种定义，自变量为 0 时，函数值为 $1/2$：
$$\theta (t)=\{\begin{array}{ll}1,& t>0\\ \frac{1}{2},& t=0\\ 0,& t<0\end{array}$$
第三种定义，自变量为 0 时，函数值为 1：
$$\epsilon (t)=\{\begin{array}{ll}1,& t\ge 0\\ 0,& t<0\end{array}$$

单位阶跃函数不连续，因此不能直接作用式(3.15)中的 $g^{-}(\cdot )$。于是我们希望找到能在一定程度上近似阶跃函数的“替代函数”(surrogate function)，并希望它单调可微。对数几率函数(logistic function)就是这样一个常用的替代函数：
$$y=\frac{1}{1+e^{-z}}\text{\hspace{1em}(3.17)}$$
对数几率函数是一种"Sigmoid 函数"，它将 $z$ 值转化为一个接近于 $0$ 或 $1$ 的 $y$ 值，并且其输出值在 $z=0$ 附近变化很陡。将对数几率函数作为 $g^{-}(\cdot )$ 代入式 (3.15)，得到
$$y=\frac{1}{1+e^{-(w^{T}x+b)}}\text{\hspace{1em}(3.18)}$$
类似于式(3.14)，式(3.18)可变化为
$$\ln \frac{y}{1-y}=w^{T}x+b\text{\hspace{1em}(3.19)}$$

式(3.18) 到 式 (3.19)的推导过程
$$\begin{gathered} y=\frac{1}{1+e^{-(w^{T}x+b)}}\Rightarrow \frac{1}{y}=1+e^{-(w^{T}x+b)} \\ \Rightarrow e^{-(w^{T}x+b)}=\frac{1}{y}-1=\frac{1-y}{y} \\ \Rightarrow \ln e^{-(w^{T}x+b)}=\ln \frac{1-y}{y} \\ \Rightarrow -\ln e^{(w^{T}x+b)}=\ln \frac{1-y}{y} \\ \Rightarrow \ln e^{(w^{T}x+b)}=-\ln \frac{1-y}{y}=\ln \frac{y}{y-1} \\ \Rightarrow \ln \frac{y}{1-y}=w^{T}x+b \end{gathered}$$

若将 $y$ 视为样本 $x$ 作为正例的可能性，则 $1-y$ 是其反例可能性，两者的比值
$$\frac{y}{1-y}\text{\hspace{1em}(3.20)}$$
称为"几率"(odds)，反映了 $x$ 作为正例的相对可能性，对几率取对数则得到"对数几率"(log odds，亦称 logit)
$$\ln \frac{y}{1-y}\text{\hspace{1em}(3.21)}$$
由此可看出，式(3.18)实际上是在用线性回归模型的预测结果去逼近真实标记的对数几率，因此，其对应的模型称为"对数几率回归"(logistic regression，亦称 logit regression)。

特别注意

虽然对数几率回归，它的名字是"回归"，但实际却是一种分类学习方法，这种方法有很多优点：

1. 直接对分类可能性进行建模，无需事先假设数据分布，这样就避免了假设分布不准确所带来的问题
2. 它不仅是预测出"类别"，而是可得到近似概率预测，这对许多需要利用概率辅助决策的任务很有用；
3. 对率函数是任意阶可导函数的凸函数，有很好的数学性质，现有的许多数值优化算法都可直接用于求最优解；

下面我们来看看如何确定式(3.18)中的 $w$ 和 $b$ 。若将式 (3.18) 中的 $y$ 视为类后验概率估计 $p(y=1|x)$，则式(3.19) 可重写为
$$\ln \frac{p(y=1|x)}{p(y=0|x)}=w^{T}x+b\text{\hspace{1em}(3.22)}$$
显然有
$$p(y=1|x)=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}\text{\hspace{1em}(3.23)}$$

$$p(y=0|x)=\frac{1}{1+e^{w^{T}x+b}}\text{\hspace{1em}(3.24)}$$

由式(3.22) 到 式(3.23) 的推导过程
$$\begin{gathered} \ln \frac{y}{1-y}=w^{T}x+b\Rightarrow \frac{y}{1-y}=e^{w^{T}x+b} \\ \Rightarrow y=(1-y)e^{w^{T}x+b}=(1+e^{w^{T}x+b})y=e^{w^{T}x+b} \\ \Rightarrow y=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}} \end{gathered}$$

$$1-y=1-\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}=\frac{1}{1+e^{w^{T}x+b}}$$

先验分布：根据一般的经验认为随机变量应该满足的分布，eg:根据往年的气候经验（经验），推测下雨（结果）的概率即为先验概率；
后验分布：通过当前训练数据修正的随机变量的分布，比先验分布更符合当前数据，eg: 有乌云（原因、观测数据）的时候下雨（结果）的概率即为后验概率；
似然估计：已知训练数据，给定了模型，通过让似然性极大化估计模型参数的一种方法，eg: 下雨（结果）的时候有乌云（观测数据、原因等）的概率即为似然概率；
后验分布往往是基于先验分布和极大似然估计计算出来的。

贝叶斯公式（后验概率公式、逆概率公式）：
$$p(\theta |x)=\frac{p(x|\theta )p(\theta )}{p(x)}$$
$\theta$：决定数据分布的参数（原因）

$x$: 观察得到的数据（结果）

$p(x)$: 证据因子evidence

$p(\theta )$: 先验概率

$p(\theta |x)$: 后验概率

$p(x|\theta )$: 似然概率

后验概率＝ 似然函数 $\times$ 先验概率 / 证据因子，证据因子（Evidence，也被称为归一化常数）可仅看成一个权值因子，以保证各类别的后验概率总和为1从而满足概率条件。

备注：

联合概率：$P(AB)=P(A)P(B|A)=P(B)P(A|B)$

条件概率：$P(A|B)=P(AB)|P(B)$

贝叶斯公式：$P(B|A)=P(A|B)P(B)/P(A)$

我们可通过"极大似然法"(maximum likelihood method) 来估计 $w$ 和 $b$。给定数据集 { ( x i , y i ) } i = 1 m \lbrace(x_i, y_i)\rbrace_{i=1}^m {(xi​,yi​)}i=1m​，对率回归模型最大化"对数似然"(log-likelihood)
$$\ell (w,b)=\sum _{i=1}^m\ln p(y_i|x_i;w,b)\text{\hspace{1em}(3.25)}$$
即，令每个样本属于其真实标记的概率越大越好；

最大似然估计

总结起来，最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

原理：

极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

由于样本集中的样本都是独立同分布，可以只考虑一类样本集 $D$ ，来估计参数向量 $\theta$ 。记已知的样本集为：
D = { x 1 , x 2 , ⋯   , x N } D = \lbrace x_1, x_2, \cdots, x_N \rbrace D={x1​,x2​,⋯,xN​}
似然函数(linkedhood function)：联合概率密度函数$p(D|\theta )$ 称为相对于 { x 1 , x 2 , ⋯   , x n } \lbrace x_1, x_2, \cdots, x_n \rbrace {x1​,x2​,⋯,xn​} 的 $\theta$ 的似然函数，
$$\ell (\theta )=p(D|\theta )=p(x_1,x_2,\cdots ,x_N|\theta )=\prod _{i=1}^{N}p(x_i|\theta )$$

概率密度函数定义

对于二元随机变量$(X,Y)$的分布函数$F(X,Y)$，如果任意存在非负函数 $f(x,y)$，使对于 $x,y$ 有
$$F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(u,v)dudv$$
称$(X,Y)$ 为二元随机变量 $(X,Y)$。并称 $f(x,y)$ 为二元随机变量 $(X,Y)$ 的联合概率密度函数。

性质

1. $f(x,y)\ge 0$；

2. ${\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }f(x,y)dxdy=1$；

3. 设 $D$ 是 $xoy$ 平面上的区域，点 $(X,Y)$ 落在 $D$ 内的概率为：
   $P((X,Y)\in D)=\int {\int }_{D}f(x,y)dxdy$

4. 在 $f(x,y)$ 的连续点 $(x,y)$ ，有 $\frac{{\partial }^{2}F(x,y)}{\partial x\partial y}=f(x,y)$.

3.4 线性判别分析

线性判别分析(Liner Discriminant Analysis，简称 LDA) 是一种经典的线性学习方法。

LDA 的思想非常朴素：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离；对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。

什么是线性判别分析呢？所谓的线性就是，我们要将数据点投影到直线上（可能是多条直线），直线的函数解析式又称为线性函数。通常直线的表达式为：
$$y=w^{T}x$$
其实这里的 $x$ 就是样本向量（列向量），如果投影到一条直线上 $w$ 就是一个特征向量（列向量形式）或者多个特征向量构成的矩阵。至于 $w$ 为什么是特征向量，后面我们就能推导出来。$y$ 为投影后的样本点（列向量）。

给定数据集 D = { ( x i , y i ) } i = 1 m , y i ∈ { 0 , 1 } D = \lbrace (x_i,y_i) \rbrace_{i=1}^m, y_i \in \lbrace 0,1 \rbrace D={(xi​,yi​)}i=1m​,yi​∈{0,1}，令 $X_i、u_i、{\Sigma }_i$ 分别表示第 i ∈ { 0 , 1 } i \in \lbrace0, 1\rbrace i∈{0,1} 类示例的集合、均值向量、协方差矩阵。

将数据投影到直线 $w$ 上，则两类样本的中心在直线上的投影分别为 $w^T{\mu }_0$ 和 $w^T{\mu }_1$ ，若将所有的样本点都投影到直线上，则两类样本的协方差分别为 $w^T{\Sigma }_{0}w$ 和 $w^T{\Sigma }_{1}w$。
投影后同类样本协方差矩阵的求法：
$$\sum _{x\in D_i}(w^{T}x-w^T{\mu }_i{)}^2=\sum _{x\in D_i}(w^T(x-x_i){)}^2=\sum _{x\in D_i}{w}^T(x-x_i)(x-x_i{)}^{T}w=w^T\sum _{x\in D_i}[(x-{\mu }_i)(x-{\mu }_i{)}^T]w$$
上式的中间部分${\sum }_{x\in D_i}(x-{\mu }_i)(x-{\mu }_i{)}^T$便是同类样本投影前的协方差矩阵。由还可以看出同类样本投影前后协方差矩阵之间的关系。如果投影前的协方差矩阵为$\Sigma$ 则投影后的为 $w^T\Sigma w$ 。

欲使同类样例的投影点尽可能接近，可以让同类样本点的协方差矩阵尽可能小，即 $w^T{\Sigma }_{0}w+w^T{\Sigma }_{1}w$ 尽可能小； 而欲使异类样例的投影点尽可能远离，可以让类中心之间的距离尽可能大，即 $||w^T{\mu }_0-w^T{\mu }_1|{|}_2^2$尽可能大。同时考虑二者，则可得到欲最大化的目标
$$\begin{gathered} J=\frac{||w^T{\mu }_0-w^T{\mu }_1|{|}_2^2}{w^T({\sum }_0+{\sum }_1)w} \\ =\frac{w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w}{w^T({\sum }_0+{\sum }_1)w}\text{\hspace{1em}(3.26)} \end{gathered}$$

定义"类内散度矩阵"(within-class scatter matrix)
$$\begin{gathered} S_w={\Sigma }_0+{\Sigma }_1 \\ =\sum _{x\in X_0}(x-{\mu }_0)(x-{\mu }_0{)}^T+\sum _{x\in X_1}(x-{\mu }_1)(x-{\mu }_1{)}^T\text{\hspace{1em}(3.26)} \end{gathered}$$
以及"类间散度矩阵"(between-class scatter matrix)
$$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T\text{\hspace{1em}(3.27)}$$
则式(3.26)可重写为
$$J=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}\text{\hspace{1em}(3.28)}$$
这就是 LDA 欲最大化的目标， 即 $S_b$ 与 $S_w$ 的"广义瑞利商"(generalized Rayleigh quotient).

Hermitian矩阵：又被称为厄尔米特矩阵，指的是共轭矩阵。矩阵中的每一个第 $i$ 行第 $j$ 列的元素都与第 $j$ 行第 $ i$ 列的元素共轭相等。$A^H$称为 $A$ 的共轭转置，$Hemitian$ 矩阵，即 $A^H=A$，若矩阵中元素都是实数，则 $A^H=A^T$。

瑞利熵的定义(Rayleigh quotient)：
$$R(A,x)=\frac{x^{H}Ax}{x^{H}x}$$
其中 $x$ 为非零向量，而 $A$ 为 $n\times n$的 $Hermitian$ 矩阵。
瑞利熵$R(A,x)$有一个非常重要的性质，即它的最大值等于矩阵$A$最大的特征值，而最小值等于矩阵 $A$ 的最小的特征值，也就满足
$${\lambda }_{min}\le \frac{x^{H}Ax}{x^{H}x}\le {\lambda }_{max}$$
当向量 $x$ 是标准正交基时，即满足 $x^{H}x=1$ 时，瑞利熵退化为 $R(A,x)=x^{H}Ax$；

广义瑞利熵(generalized Rayleigh quotient)：
$$R(A,B,x)=\frac{x^{H}Ax}{x^{H}Bx}$$
其中，$x$ 为非零向量，而 $A,B$ 为 $n\times n$ 的 $Hermitian$ 矩阵。$B$ 为正定矩阵。

令 $x=B^{-\frac{1}{2}}{x}^{\prime }$，则分母转化为
$$x^{H}Bx=x^{\prime H}(B^{-\frac{1}{2}}{)}^{H}B{B}^{-\frac{1}{2}}{x}^{\prime }=x^{\prime H}{B}^{-\frac{1}{2}}B{B}^{-\frac{1}{2}}{x}^{\prime }=x^{\prime H}x$$
而分子转化为：
$$x^{H}Ax=x^{\prime H}{B}^{-\frac{1}{2}}A{B}^{-\frac{1}{2}}{x}^{\prime }$$
此时，我们的 $R(A,B,x)$ 转化为 $R(A,B,x^{\prime })$：
$$R(A,B,x)=\frac{x^{\prime H}{B}^{-\frac{1}{2}}A{B}^{\frac{1}{2}}{x}^{\prime }}{x^{\prime H}{x}^{\prime }}$$
利用瑞利熵的性质，可知 $R(A,B,x)$ 的最大值为 $B^{-\frac{1}{2}}A{B}^{-\frac{1}{2}}$ 的最大特征值。

注意到上式(3.28)的分子和分母中都是关于 $w$ 的二次项，因此式(3.28) 中的解与 $w$ 的长度无关，只与方向有关，不失 一般性，令 $w^T{S}_{w}w=1$，则式(3.28)等价于
$$\begin{gathered} \underset{w}{\min }-w^T{S}_{b}w \\ s.t.w^T{S}_{w}w=1\text{\hspace{1em}(3.29)} \end{gathered}$$
由拉格朗日乘子法，上式等价于
$$S_{b}w=\lambda S_{w}w\text{\hspace{1em}(3.30)}$$
其中，$\lambda$ 是拉格朗日乘子，注意到 $S_{b}w$ 的方向恒为 ${\mu }_0-{\mu }_1$，不妨令
$$S_{b}w=\lambda ({\mu }_0-{\mu }_1)\text{\hspace{1em}(3.31)}$$
代入式(3.30)即得
$$w=S_w^{-1}({\mu }_0-{\mu }_1)\text{\hspace{1em}(3.32)}$$
考虑到数值解的稳定性，在实践中通常是对 $S_w$ 进行奇异值分解，即 $S_w=U\Sigma V^T$，这里 $\Sigma$ 是一个实对角矩阵，其对角线上的元素是 $S_w$ 的奇异值，然后再由 $S_w^{-1}=V{\Sigma }^{-1}{U}^T$ 得到 $S_w^{-1}$ 。

值得一提的是，LDA 可从贝叶斯决策理论的角度来阐释，并可证明，当两类数据同先验、满足高斯分布且协方差相等时，LDA 可达到最优分类 。

3.5 多分类学习

不失一般性，考虑 $N$ 个类别 $C_1,C_2,\cdots ,C_N$ 多分类学习的基本思路是"拆解法"，即将多分类任务拆分为若干个二类任务求解。

最经典的拆分策略有三种：“一对多(One vs. One 简称 OvO)”、“一对其余”(One vs. Rest,简称 OvR) 和"多对多"(Many vs. Many, 简称 MvM)。

3.6 类别不平衡问题

类别不平衡(class-imbalance) 就是指分类任务中不同类别的训练样例数目差别很大的情况。即使原始问题中不同类别的训练样例数目相当，在使用$OvR$ 、$MvM$ 策略后产生的二分类任务仍可能出现类别不平衡现象，因此有必要了解类别不平衡性处理的基本方法。

从线性分类器的角度讨论容易理解，在我们用 $y=w^{T}x+b$ 对新样本 $x$ 进行分类时，事实上是在用预测出的 $y$ 值与一个阈值进行比较，例如通常在 $y>0.5$ 时，判别为正例，否则为反例。$y$ 实际上表达了正例的可能性，几率 $\frac{y}{1-y}$ 则反映了正例可能性与反例可能性之比值，阈值设置为 0.5 恰表明分类器认为真实正、反例可能性相同，即分类器决策规则为

若 $\frac{y}{1-y}>1$ 则，预测为正例。(3.33)

然而，当训练集中正、反例数目不同时，令 $m^{+}$ 表示正例数目，$m^{-}$ 表示反例数目，则观测几率是 $\frac{m^{+}}{m^{-}}$，则由于我们通常假设训练集是真实样本总体的无偏采样，因此观测几率就代表了真实几率。于是，只要分类器的预测几率高于观测几率就应该判定为正例，即

若 $\frac{y}{1-y}>\frac{m^{+}}{m^{-}}$ 则预测为正例。(3.34)

但是，我们的分类器是基于式(3.33)进行决策，因此，需要其预测值进行调整，使其在基于式(3.34)决策时，实际是在执行式(3.34)。要做到这一点很容易，只需令
$$\frac{y^{\prime }}{1-y^{\prime }}=\frac{y}{1-y}\times \frac{m^{-}}{m^{+}}\text{\hspace{1em}(3.35)}$$
这就是类别不平衡学习的一个基本策略 —— “再缩放"(rescaling)。

再缩放的思想虽然简单，但实际操作却并不平凡，主要是因为“训练集是真实样本总体的无偏采样”，这个假设往往并不成立，也就是说，我们未必能有效地基于训练集观测几率来推断出真实几率。现有技术大体上有三类做法：第一类是直接对训练集里的瓜类样例进行“欠采样”(undersampling)，即去除一些反例使得正、反例数目接近，然后再进行学习；第二类是对训练集里的正类样例进行”过采样“(oversampling)，即增加一些正例使得正、反例数目接近，然后再进行学习；第三类是直接基于原始训练集进行学习，但在用训练好的分类器进行预测时，将式$(3.48)$嵌入到决策过程中，称为"阈值移动"(threshold-moving)。

欠采样与过采样

欠采样算法时间开销通常远小于过采样，因为欠采样丢弃了很多反例，使得分类器训练集远小于初始训练集，而过采样法增加了很多正例，其训练集大于初始训练集。

过采样算法不能简单地对初始正例样本进行重复采样，否则会导致严重的过拟合；过采样法的代表性算法 SMOTE 是通过对训练集里的正例进行插值来产生额外的正例。

欠采样法若随机丢弃反例，可能丢失一些重要信息；欠采样法 的代表性算法 EasyEnsemble 则是利用集成学习机制，将反例划分为若干个集合供不同学习器使用，这样对每个学习器来看都进行了欠采样，但在全局来看却不会丢失重要信息。

值得一提的是，“再缩放”也是"代价敏感学习"(cost-sensitive learning)的基础。在代价敏感学习中将式 $(3.35)$ 中的 $m^{-}/m^{+}$ 用 $cos{t}^{+}/cos{t}^{-}$ 代替即可，其中 $cos{t}^{+}$ 是将正例误分为反例的代价， $cos{t}^{-}$ 是将反例误分为正例的代价。