第三章：线性模型

第三章：线性模型

1. 线性模型的基本形式

对于一个有 $d$ 个特征（通常表示为一个 $d$ 维向量 $x\in {\mathbb{R}}^d$ ）的样本，如果像综合考虑其各个特征，来预测该样本的某一种性质（一般是连续的数值形式的性质，比如二手房的价格），最基本的选择就是线性模型（Linear Model），此时我们希望通过数据拟合出一个样本某性质与样本各个特征之间的线性映射 $f(x)$，其数学表达如下：
$$f(\mathbf{x})=w_1{x}_1+w_2{x}_2...+w_d,x_d+b$$
上式还可以进一步写作向量形式：
$$f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b$$

2. 线性回归

当给定数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ( x 3 , y 3 ) , . . . , ( x m , y m ) } D=\{(\boldsymbol{x}^1,y^1),(\boldsymbol{x}^2,y^2),(\boldsymbol{x}^3,y^3),...,(\boldsymbol{x}^m,y^m)\} D={(x1,y1),(x2,y2),(x3,y3),...,(xm,ym)}（其中上标表示样本的序号，${\mathbf{x}}^i\in {\mathbb{R}}^d$，$y^i\in \mathbb{R}$），且我们的目的是找到一个线性映射 $f(\mathbf{x})$ 使得对 $\forall {\mathbf{x}}^i\in D$，都有$f({\mathbf{x}}^i)\approx y^i$。我们有如下逻辑：

1. 由 (2) 式可知，函数 $f(\cdot )$ 是由两个参数 $\mathbf{w}$ 和 $b$ 决定的。因此，我们要做的其实是寻找合适的$\mathbf{w},b$， 使得对 $\forall {\mathbf{x}}^i\in D$，都有$f({\mathbf{x}}^i;\mathbf{w},b)\approx y^i$。
2. 那么我们势必需要一个指标来衡量不同的 $\mathbf{w},b$ 之间谁更合适，传统的回归任务会选择均方误差来衡量不同参数代表的映射 $f(\cdot )$ 的不同性能。
3. 所以问题转变为找到合适的 $\mathbf{w},b$，使函数对每个样本的预测值与实际值之间的均方误差最小，如下式：

$$\begin{array}{rl}({\mathbf{w}}^{\ast },b^{\ast })=& \underset{(\mathbf{w},b)}{\mathrm{argmin}}\sum _{i=1}^T(f({\mathbf{x}}^i;\mathbf{w},b)-y^i{)}^2\\ =& \underset{(\mathbf{w},b)}{\mathrm{argmin}}\sum _{i=1}^T({\mathbf{w}}^T{\mathbf{x}}^i+b-y^i{)}^2\end{array}$$

2.1 一元线性回归

(3)式的优化目标其实是一个严格凸函数，这意味着其有且只有一个最优解 $({\mathbf{w}}^{\ast },b^{\ast })$。为了方便理解，首先考虑单变元的线性回归，此时令 $E(w,b)={\sum }_{i=1}^T(w{x}^i+b-y^i{)}^2$， 要求得最优解，只需对 $E(\mathbf{w},b)$ 求偏导数对应零点即可，$E(w,b)$的两个偏导数如下：

$$\begin{array}{rl}\frac{\partial E}{\partial w}=& \frac{\partial }{\partial w}\sum _{i=1}^T[(w{x}^i+b{)}^2-2y^i(w{x}^i+b)+{y^i}^2]\\ =& \sum _{i=1}^{T}2x^i(w{x}^i+b)-2x^i{y}^i\\ =& 2(w\sum _{i=1}^T{x^i}^2-\sum _{i=1}^T(y^i-b)x^i)\end{array}$$

$$\begin{array}{rl}\frac{\partial E}{\partial b}=& \frac{\partial }{\partial b}\sum _{i=1}^T[(w{x}^i+b{)}^2-2y^i(w{x}^i+b)+{y^i}^2]\\ =& \sum _{i=1}^{T}2(w{x}^i+b)-2y^i\\ =& 2mb-2\sum _{i=1}^T(y^i-w{x}^i)\end{array}$$

令两个偏导数为零，可以解方程得到两个参数最优解的闭式（closed-form）解 $(w^{\ast },b^{\ast })$：

1. 令 (5) 式为零可以得到：

$$\begin{array}{rl}b=& \frac{1}{m}\sum _{i=1}^T(y^i-w{x}^i)\\ =& \bar{y}-w\bar{x}\end{array}$$

再令 (4) 式为零并带入 (6) 式有：
$$\begin{array}{rl}2(w\sum _{i=1}^T{x^i}^2-\sum _{i=1}^T(y^i-b)x^i)=& 0\\ \sum _{i=1}^T(y^i-(\bar{y}-w\bar{x}))x^i=& w\sum _{i=1}^T{x^i}^2\\ \sum _{i=1}^T{y}^i{x}^i-\bar{y}\sum _{i=1}^T{x}^i+w\bar{x}\sum _{i=1}^T{x}^i=& w\sum _{i=1}^T{x^i}^2\\ \sum _{i=1}^T{y}^i{x}^i-\bar{y}\sum _{i=1}^T{x}^i=& w(\sum _{i=1}^T{x^i}^2-\bar{x}\sum _{i=1}^T{x}^i)\\ w=& \frac{{\sum }_{i=1}^T{y}^i{x}^i-m\bar{y}\bar{x}}{{\sum }_{i=1}^T{x^i}^2-m{\bar{x}}^2}\end{array}$$

2.2 多元线性回归

在一元线性回归的基础上，我们可以自然地将上述结论推广到多元线性回归中。此时需要学习的映射为：$f(\mathbf{x};\mathbf{w},b)={\mathbf{w}}^T\mathbf{x}+b$。 为了便于讨论，可以将两个需要学习的参数拼接到一起视作一个参数 $\hat{\mathbf{w}}=(\mathbf{w};b)$，相应的，也需要对每个样本的特征向量在拼接一个常数 $1$，这样的话映射 $f(\mathbf{x};\hat{\mathbf{w}})$形式上可以直接写成向量的乘法。此时所有样本的特征向量组成的特征矩阵为：
$$X=\left(\begin{array}{ccccc}{x}_1^1& x_2^1& \cdots & x_d^1& 1\\ x_1^2& x_2^2& \cdots & x_d^2& 1\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ x_1^m& x_2^m& \cdots & x_d^m& 1\end{array}\right)=\left(\begin{array}{cc}{\mathbf{x}}^1& 1\\ {\mathbf{x}}^2& 1\\ ⋮& ⋮\\ {\mathbf{x}}^m& 1\end{array}\right)$$
相应的，所有样本的标签（样本需要预测的值）可以写成一个 $m$ 维向量：${\mathbf{y}}^T=(y^1,y^2,\cdots y^m)$，将作用于整个数据集上的映射写成矩阵乘法的形式则有： $f(X;\hat{\mathbf{w}})=X{\hat{\mathbf{w}}}^T$. 与 (3) 式相似，我们的优化目标如下：
$${\hat{\mathbf{w}}}^{\ast }=\underset{\hat{\mathbf{w}}}{\mathrm{argmin}}(\mathbf{y}-X\hat{\mathbf{w}}{)}^T(\mathbf{y}-X\hat{\mathbf{w}})$$
令 $E(\hat{\mathbf{w}})=(\mathbf{y}-X\hat{\mathbf{w}}{)}^T(\mathbf{y}-X\hat{\mathbf{w}})$，对 $\hat{\mathbf{w}}$求导得到：
$$\begin{array}{rl}\frac{\partial E}{\partial \hat{\mathbf{w}}}=& \frac{\partial }{\partial \hat{\mathbf{w}}}(\mathbf{y}-X\hat{\mathbf{w}}{)}^T(\mathbf{y}-X\hat{\mathbf{w}})\\ =& \frac{\partial }{\partial \hat{\mathbf{w}}}\left({\mathbf{y}}^T\mathbf{y}-{\hat{\mathbf{w}}}^T{X}^T\mathbf{y}-{\mathbf{y}}^{T}X\hat{\mathbf{w}}+{\hat{\mathbf{w}}}^T{X}^{T}X\hat{\mathbf{w}}\right)\\ =& 0-X^T\mathbf{y}-X^T\mathbf{y}+\left(X^{T}X+X^{T}X\right)\hat{\mathbf{w}}\\ =& 2X^T\left(X\hat{\mathbf{w}}-\mathbf{y}\right)\end{array}$$
在 (10) 式中的多元函数求导需要用到如下结论：
$$\begin{array}{r}\frac{\partial {\mathbf{\alpha }}^T\mathbf{x}}{\partial \mathbf{x}}=\frac{\partial {\mathbf{x}}^T\mathbf{\alpha }}{\partial \mathbf{x}}=\mathbf{\alpha }\\ \frac{\partial {\mathbf{x}}^{T}A\mathbf{x}}{\partial \mathbf{x}}=\left(A+A^T\right)\mathbf{x}\end{array}$$
令 (10) 式为零可以得到：
$$\begin{array}{rl}2X^T\mathbf{y}=& 2X^{T}X\hat{\mathbf{w}}\\ \widehat{{\mathbf{w}}^{\ast }}=& (X^{T}X{)}^{-1}{X}^T\mathbf{y}\end{array}$$
需要注意的是，(13) 式只有在矩阵 $X^{T}X$ 可逆时才有效，然而在实际任务中，往往样本数量 $m$ 会小于样本特征个数 $d$ ，此时 $X^{T}X$ 显然不满秩，因此也不可逆。此时不只有一个 $\hat{\mathbf{w}}$可以满足方程 (13) 第一行（这种情况可以理解成未知变量个数多于方程组方程个数，此时方程组解不唯一，所有解可以构成一个线性解空间）。此时模型最终使用哪一组参数由其学习算法的归纳偏好决定，常见的作法是引入正则化（regularization）项。常见的正则化项有一范数正则化项（是参数向量稀疏）和二范数正则化项（使参数向量二范数降低）。

2.3 线性回归变式

在线性映射的基础上，可以再叠加一个非线性映射，借此使模型函数获得拟合变量之间非线性关系的能力，比如对数线性回归 (log-linear regression)，令 $f(\mathbf{x};\mathbf{w},b)\approx \ln y$，此时我们实际上是使 $e^{{\mathbf{w}}^T\mathbf{x}+b}$ 逼近$y$. 如下图：

同理，面对不同的先验知识也可以叠加其他非线性映射，一般形式是考虑可微函数 $g(\cdot )$，令：
$$y=g^{-1}({\mathbf{w}}^{T}x+b)$$
这样得到的模型称为广义线性模型 (generalized linear model)。其中函数 $g(\cdot )$ 称为联系函数（link function)。

3. 对数几率回归

3.1 模型

传统的线性回归无法处理分类问题，此时就需要按 (14) 式的广义线性模型，找到一种映射可以将样本线性回归模型的预测值再映射到样本的类别变量上。以最简单的二分类问题为例，此时样本的标签 y ∈ { 0 , 1 } y\in\{0,1\} y∈{0,1} 是离散的，而线性回归模型产生的预测值 $z={\mathbf{w}}^T\mathbf{x}+b$是连续值，因此需要我们将连续值 $z$ 转换为 1/0，最理想的非线性映射是单位阶跃函数（unit-step function）：
$$y=\{\begin{array}{r}0,z<0\\ 0.5,z=0\\ 1,z>0\end{array}$$
但是单位阶跃函数的问题在于，其不连续，这使得在后续优化过程较为困难。于是我们使用一种较为接近单位阶跃函数的 Sigmoid 函数用作式 (14) 的 $g^{-1}(\cdot )$：
$$\text{Sigmoid}(z)=\frac{1}{1+e^{-z}}$$
单位阶跃函数和 Sigmoid 函数的图像如下：

将 Sigmoid 函数带入式 (14)有：
$$y=\frac{1}{1+e^{-({\mathbf{w}}^T\mathbf{x}+b)}}$$
(17) 式经过变形后有：
$$\ln \frac{y}{1-y}={\mathbf{w}}^T\mathbf{x}+b$$
将 $y$ 视作样本为正例的可能性，则 $1-y$ 为样本为负例的可能性，两者的比值
$$\frac{y}{1-y}$$
称为几率（odds），它反映了特征向量为 $x$ 的样本是正例的相对可能性，对几率取对数则得到对数几率（log odds，亦称 logit）。因此，(17) 式其实式希望用线性回归的结果去逼近真实的对数几率，所以其对应的模型称为对数几率回归（logistic regression，亦称 logit regression）。需要注意的是，虽然模型名字是“回归”，但是该模型本质上是一个分类模型。其有如下优点：

1. 直接对分类可能性建模，无需实现假设数据分布，避免了假设分布不准确所带来的问题（貌似许多机器学习模型都是这样😅）。
2. 预测结果其实是样本被分为正例的概率，这对许多需要利用概率辅助决策的任务更友好。
3. Sigmoid 函数连续且各阶可导，该性质对优化很有帮助。

3.2 目标函数

机器学习模型通常需要将参数的选择问题转化为某目标函数的优化问题，逻辑回归模型也不例外。对于目标函数（损失函数）的推导，西瓜书与南瓜书分别采用了两种思路：最大似然估计与交叉熵，然而最后的结果确实殊途同归，不禁使人感叹数学的奇妙🤣

3.2.1 最大似然估计

最大似然估计（maximum likelihood estimation, MLE）的主要思想是，使出现观测值的可能性最大。要使用最大似然估计法，我们首先要写出在给定模型参数 $\mathbf{w},b$ 的情况下，样本分类的概率分布函数，方便起见，令 $\beta =(\mathbf{w};b),\hat{\mathbf{x}}=(\mathbf{x};1)$ （同 2.2 节）。分别记样本 $\hat{\mathbf{x}}$ 经模型判定为正例的概率和负例的概率为：
$$\begin{array}{r}{p}_1(\hat{\mathbf{x}};\beta )=p(y=1|\hat{\mathbf{x}};\beta )=\frac{1}{1+e^{-({\beta }^T\hat{\mathbf{x}})}}=\frac{e^{{\beta }^T\hat{\mathbf{x}}}}{1+e^{{\beta }^T\hat{\mathbf{x}}}}\\ p_0(\hat{\mathbf{x}};\beta )=p(y=0|\hat{\mathbf{x}};\beta )=1-\frac{1}{1+e^{-({\beta }^T\hat{\mathbf{x}})}}=\frac{1}{1+e^{{\beta }^T\hat{\mathbf{x}}}}\end{array}$$
对于任意一个样本 ${\hat{\mathbf{x}}}^i$，模型预测其分类的概率分布函数有如下两种表示方法：
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ &p(y^i|\hat{\b…
(22) (23)式都是合理的，在此以 (22)式为例进行说明：

1. 当 $y^i=1$ 时，$p(y^i|{\hat{\mathbf{x}}}^i;\beta )=p_1(\hat{\mathbf{x}};\beta )$（$1-y^i=0$）
2. 当 $y^i=0$ 时，$p(y^i|{\hat{\mathbf{x}}}^i;\beta )=p_2(\hat{\mathbf{x}};\beta )$（$1-y^i=1$）

(23)也如此，不再赘述。要使模型将每个样本正确分类的概率最大，则需要最大化如下函数：
$$P(\beta )=\prod _{i=1}^{m}p(y^i|{\hat{\mathbf{x}}}^i;\beta )$$
对上式取对数将连乘转化为连加有：
$$\begin{array}{rl}\ln P(\beta )=l(\beta )=& \sum _{i=1}^m\ln p(y^i|{\hat{\mathbf{x}}}^i;\beta )\\ =& \sum _{i=1}^m\ln \left(y^i{p}_1(\hat{\mathbf{x}};\beta )+(1-y^i)p_0(\hat{\mathbf{x}};\beta )\right)\\ =& \sum _{i=1}^m\ln \left(\frac{y^i{e}^{{\beta }^T{\hat{\mathbf{x}}}^i}+1-y^i}{1+e^{{\beta }^T{\hat{\mathbf{x}}}^i}}\right)\\ =& \sum _{i=1}^m\left(\ln (y^i{e}^{{\beta }^T{\hat{\mathbf{x}}}^i}+1-y^i)-\ln (1+e^{{\beta }^T{\hat{\mathbf{x}}}^i})\right)\end{array}$$
分别带入 $y^i=0,1$得到:
$$l(\beta )=\{\begin{array}{rl}\sum _{i=1}^m\left(-\ln (1+e^{{\beta }^T{\hat{\mathbf{x}}}^i})\right),y^i=0& \\ \sum _{i=1}^m\left({\beta }^T\hat{\mathbf{x}}-\ln (1+e^{{\beta }^T{\hat{\mathbf{x}}}^i})\right),y^1=1& \end{array}$$
(26) 式又可以合并为：
$$l(\beta )=\sum _{i=1}^m\left(y^i{\beta }^T\hat{\mathbf{x}}-\ln (1+e^{{\beta }^T{\hat{\mathbf{x}}}^i})\right)$$
因此我们只需要最大化 (27)式（或最小化 (27)式的相反数）即可找到最合适的参数 $\beta$。

3.2.2 交叉熵

交叉熵可以视作为KL-散度的产物，它和KL-散度都可以衡量拟合分布与理想分布之间的差距，但是要注意：交叉熵和KL-散度都不是距离，因为他们不满足对称性。以交叉熵为目标函数，我们需要找到合适 $\beta$ 使得模型在数据集上的交叉熵最小，则待优化的目标函数为：
$$\begin{array}{rl}l(\beta )=& -\sum _{i=1}^m(y^i\ln (p_1({\hat{\mathbf{x}}}^i;\beta ))+(1-y^i)\ln p_0({\hat{\mathbf{x}}}^i;\beta ))\\ =& -\sum _{i=1}^m\left(y^i\ln \left(\frac{p_1({\hat{\mathbf{x}}}^i;\beta )}{p_0({\hat{\mathbf{x}}}^i;\beta )}\right)+\ln (p_0({\hat{\mathbf{x}}}^i;\beta ))\right)\\ =& -\sum _{i=1}^m\left(y^i\ln \left(e^{{\beta }^T{\hat{\mathbf{x}}}^i}\right)+\ln \left(\frac{1}{1+e^{{\beta }^T{\hat{\mathbf{x}}}^i}}\right)\right)\\ =& -\sum _{i=1}^m\left(y^i{\beta }^T{\hat{\mathbf{x}}}^i-\ln (1+e^{{\beta }^T{\hat{\mathbf{x}}}^i})\right)\end{array}$$
值得注意的是，使用 (23) 式作为模型预测样本分类的概率分布函数后再使用最大似然估计，也会得到 (28) 式第一行的结果，因此后续也会与交叉熵计算过程相同。

3.3 优化算法

逻辑回归模型的目标函数是严格的凸函数，因此其十分容易优化，常见的方法有牛顿法，梯度下降法等（我个人比较喜欢梯度下降法😁）。

4. 线性判别分析

4.1 LDA 模型思想

线性判别分析（Linear Discriminant Analysis，LDA） 的思想很简单：模型需要学习的是一条过原点的直线，当将样本的特征向量投影到该直线上并希望同类样本的投影点经可能近，非同类样本点尽可能远，遇到新样本时，只需将其特征向量进行相同的投影，就可以根据投影点的位置预测其类别。具体情况可见下图：

4.2 LDA 模型构建

以二分类数据集为例，令 $X_i,{\mu }_i,{\Sigma }_i$ 分别表示第 i ∈ { 0 , 1 } i\in\{0, 1\} i∈{0,1} 样本的特征矩阵、均值向量、协方差矩阵。其中协方差矩阵计算方法如下：
$$\Sigma =\frac{1}{m}(X-\mathrm{M}{)}^T(X-\mathrm{M})$$
需要注意的是：==西瓜书中协方差矩阵的计算没有考虑求和后的平均，但是着并不印象最后的优化结果，因为待优化的目标函数分子分母都忽视了这个求平均值的系数，故不会该边最后的最优解。==若投影方向为 $\mathbf{w}$，则两类样本投影后的均值为 ${\mathbf{w}}^T{\mathbf{\mu }}_{\mathbf{i}}$ ，样本投影后的协方差为 ${\mathbf{w}}^t{\Sigma }_i\mathbf{w}$，根据线性判别分析的要求，我们需要使 $||{\mathbf{w}}^T{\mathbf{\mu }}_0-{\mathbf{w}}^T{\mathbf{\mu }}_1|{|}_2^2$ 尽量大，使 ${\mathbf{w}}^t{\Sigma }_0\mathbf{w}+{\mathbf{w}}^t{\Sigma }_1\mathbf{w}$ 尽量小，因此可以自然得到需要最大化的目标：
$$J=\frac{||{\mathbf{w}}^T{\mathbf{\mu }}_0-{\mathbf{w}}^T{\mathbf{\mu }}_1|{|}_2^2}{{\mathbf{w}}^t{\Sigma }_0\mathbf{w}+{\mathbf{w}}^t{\Sigma }_1\mathbf{w}}$$
为了方便表示，定义类内散度矩阵（within-class scatter matrix）$S_w$ 和类间散度矩阵（between-class scatter matrix）$S_b$：
$$\begin{array}{rl}{S}_w=& {\Sigma }_0+{\Sigma }_1\\ =& \sum _{\mathbf{x}\in X_0}(\mathbf{x}-\mu )(\mathbf{x}-\mu {)}^T+\sum _{\mathbf{x}\in X_1}(\mathbf{x}-\mu )(\mathbf{x}-\mu {)}^T\\ & \\ S_b=& ({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T\end{array}$$
则式 (2) 可以重写为：
$$J=\frac{{\mathbf{w}}^T{S}_b\mathbf{w}}{{\mathbf{w}}^T{S}_w\mathbf{w}}$$
此即为 LDA 想要最大化的目标，它又叫做 $S_b$ 与 $S_w$ 的广义瑞利商（generalized Rayleigh quotient）。

4.3 LDA 模型求解

LDA模型需要确定的只有表示投应方向的向量 $\mathbf{w}$，同时还注意到，(4) 式是一个齐次分式，故 $\mathbf{w}$ 的模不会影响模型的性能，所以我们可以不失一般性地令 ${\mathbf{w}}^T{S}_w\mathbf{w}=1$，则最大化 (4) 式可以转化为：
$$\begin{array}{rl}\underset{\mathbf{w}}{\min }& -{\mathbf{w}}^T{S}_b\mathbf{w}\\ s.t.& {\mathbf{w}}^T{S}_w\mathbf{w}=1\end{array}$$
至此，我们将模型的参数选择问题转换成了一个比较简单的凸优化问题，使用拉格朗日乘子法，引入拉格朗日乘子 $\lambda$ 后，我们需要优化的目标变为：
$$\underset{\mathbf{w}}{\min }-{\mathbf{w}}^T{S}_b\mathbf{w}+\lambda {\mathbf{w}}^T{S}_w\mathbf{w}$$
对上式求导数零点即可，要求的 $\mathbf{w}$ 即为下面方程的解：
$$S_b\mathbf{w}=\lambda S_w\mathbf{w}$$
同时需要注意到 $S_b\mathbf{w}$ 的方向恒为 ${\mu }_0-{\mu }_1$（将 $S_b\mathbf{w}$ 通过 (3) 式展开，再使用矩阵乘法的交换律即可看出），不妨令:
$$S_b\mathbf{w}=\lambda ({\mu }_0-{\mu }_1)$$
带入 (7) 式在解方程既得：
$$\mathbf{w}=S_w^{-1}({\mu }_0-{\mu }_1)$$
现实中考虑到数值解的稳定性，通常用奇异值分解的方法求解 $S_w^{-1}$，即先将 $S_w$ 分解成 $S_w=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$，其中 $\mathbf{\Sigma }$ 是实对角矩阵，对角线上的元素为 $S_w$ 的奇异值，则 $S_w^{-1}=\mathbf{U}{\mathbf{\Sigma }}^{-1}{\mathbf{V}}^T$。LDA也可以从贝叶斯决策理论的角度来阐释，并可以证明，当两类样本数据同先验，满足高斯分布且协方差相等时，LDA 可以达到最优分类。

4.4 LDA模型的多分类推广

假定存在 $N$ 个类别，且第 $i$ 类样本个数为 $m_i$，我们先定义全局散度矩阵:
$$\begin{array}{rl}{S}_t=& S_w+S_b\\ =& \sum _{i=1}^m({\mathbf{x}}_i-\mathbf{\mu })({\mathbf{x}}_i-\mathbf{\mu }{)}^T\end{array}$$
其中 $\mathbf{\mu }$ 是所有样本的均值向量。此外，将类内散度矩阵重新定义为每个类别的散度矩阵之和，即：
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ S_w =& \sum^N_…
由 (10) ~ (12) 式可得：
$$\begin{array}{rl}{S}_b=& S_t-S_w\\ =& \sum _{i=1}^N{m}_i({\mathbf{\mu }}_i-\mathbf{\mu })({\mathbf{\mu }}_i-\mathbf{\mu }{)}^T\end{array}$$
同样的，多分类背景下的 LDA 的优化目标也是使同类之间投影尽可能近，不同类之间投影尽可能远。令 $W=({\mathbf{w}}_1,{\mathbf{w}}_2,\cdots ,{\mathbf{w}}_{N-1})\in {\mathbb{R}}^{d\times (N-1)}$，则优化目标为：
$$\underset{\mathbb{W}}{\max }\frac{{\sum }_{i=1}^{N-1}{\mathbf{w}}_i^T{S}_b{\mathbf{w}}_i}{{\sum }_{i=1}^{N-1}{\mathbf{w}}_i^T{S}_w{\mathbf{w}}_i}$$

由分块矩阵的乘法我们可以直接得到：
$$\begin{array}{rl}& \sum _{i=1}^{N-1}{\mathbf{w}}_i^T{S}_b{\mathbf{w}}_i=\mathrm{t}\mathrm{r}\left({\mathbf{W}}^T{S}_b\mathbf{W}\right)\\ & \sum _{i=1}^{N-1}{\mathbf{w}}_i^T{S}_w{\mathbf{w}}_i=\mathrm{t}\mathrm{r}\left({\mathbf{W}}^T{S}_w\mathbf{W}\right)\end{array}$$
同 (7) 式，使用拉格朗日乘子后要求的 $\mathbf{W}$ 即为下面方程的解：
$$S_b\mathbf{W}=\lambda S_w\mathbf{W}$$

4.5 补充

4.5.1 广义特征值

设 $A,B\in {\mathbb{R}}^{n\times n}$ 为方阵，若存在数 $\lambda$，使得方程 $A\mathbf{x}=\lambda B\mathbf{x}$ 存在非零解，则称 $\lambda$ 为 $A$ 相对于 $B$ 的广义特征值，$\mathbf{x}$ 为 $A$ 相对于 $B$ 的属于广义特征值 $\lambda$ 广义特征向量。特别地， 当 $B=I$ 时，广义特征值问题退化为标准特征值问题。

4.5.2 广义瑞利商

设 $A,B$ 为 $n$ 阶厄米（Hermitian）矩阵（实数域上的厄米矩阵即为对称矩阵），且 $B$ 正定，称 :
$$R(x)=\frac{{\mathbf{x}}^{H}A\mathbf{x}}{{\mathbf{x}}^{H}B\mathbf{x}}(\mathbf{x}\ne 0)$$
为 $A$ 相对于 $B$ 的广义瑞利商。特别地，当 $B=I$ 时，广义瑞利商退化为瑞利商。

4.5.3 广义瑞利商的性质

设 ${\lambda }_i,{\mathbf{x}}_i(i=1,2,3,\cdots ,n)$ 为 $A$ 相对于 $B$ 的广义特征值与广义特征向量，且 ${\lambda }_1\le {\lambda }_2\le \cdots \le {\lambda }_n$，则下列下面两个式子成立：
$$\begin{array}{r}\underset{\mathbf{x}\ne 0}{\min }R(x)=\frac{{\mathbf{x}}^{H}A\mathbf{x}}{{\mathbf{x}}^{H}B\mathbf{x}}={\lambda }_1,{\mathbf{x}}^{\ast }={\mathbf{x}}_1\\ \underset{\mathbf{x}\ne 0}{\max }R(x)=\frac{{\mathbf{x}}^{H}A\mathbf{x}}{{\mathbf{x}}^{H}B\mathbf{x}}={\lambda }_n,{\mathbf{x}}^{\ast }={\mathbf{x}}_{\mathbf{n}}\end{array}$$
证明如下：

不妨令：
$${\mathbf{x}}^{H}B\mathbf{x}=1$$
则优化问题 (19) 转化为：
$$\begin{array}{rl}& \underset{\mathbf{x}\ne 0}{\min }R(x)={\mathbf{x}}^{H}A\mathbf{x}\\ & s.t.{\mathbf{x}}^{H}B\mathbf{x}=1\end{array}$$
利用拉格朗日乘子法可以得到最优解 ${\mathbf{x}}^{\ast }$ 满足下列方程：
$$A\mathbf{x}=\lambda B\mathbf{x}$$
而上式显然是一个广义特征值问题，将 (23) 式带回至 (19) 式得：
$$R(x)=\frac{{\mathbf{x}}^{H}A\mathbf{x}}{{\mathbf{x}}^{H}B\mathbf{x}}=\lambda$$
而 $\lambda$ 的最大值为 ${\lambda }_n$，最小值为 ${\lambda }_1$，则该性质显然成立。

5. 多分类学习

我感觉没啥好说的，无非三种思想，一对多，一对余和多对多（One vs. One, One vs. Rest, Many vs. Many）。

6. 类别不平衡问题

面对正负类样本个数不平衡的问题，主要有三种处理办法：

1. 再放缩（rescaling)：主要思想是更改决策阈值，使之更贴合正负样本个数的比例。
2. 优化时对样本数量过多的类别进行欠采样（undersampling）。
3. 优化时对样本数量过少的类别进行过采样（oversampling）。