cs229笔记

ps0

求$df(XY)$

求$d(X^{-1})$

求$\nabla f(x^{T}Ax)$

求${\nabla }^{2}f(x^{T}Ax)$

求$\nabla g\left(a^{\top }x\right){\nabla }^{2}g\left(a^{\top }x\right)$

ps1

最小二乘法是没有局部最优的，所以可以根据损失函数的导数算出最小值。

上图从左至右展示了欠拟合到过拟合的过程，为了控制线性回归，使它不至于欠拟合或者过拟合，提出了local weighted linear regression
它的思想是用样本点的x值和待预测点的x值之间的距离来衡量样本点的权重。
权重函数为
$w^{(i)}=\exp \left(-\frac{{\left(x^{(i)}-x\right)}^2}{2{\tau }^2}\right)$
这里权重函数和高斯分布函数很相似，$\tau$(tau)越大权重越分散，模型越倾向于过拟合。
这里补充一个高斯密函函数的积分为1的证明

如果x是向量则$w^{(i)}=\exp \left(-{\left(x^{(i)}-x\right)}^T\left(x^{(i)}-x\right)/\left(2{\tau }^2\right)\right)$。
这时一个non-parametric模型，因为每次为x预测y值都需要取出所有数据或者近邻数据来计算权重。而普通的线性回归是一个parametric模型，因为参数是固定的。

• 最小二乘法的概率解释
  补充知识：两个独立的随机变量之和Z=X+Y的概率密度函数为$f_Z(z)={\int }_{-\infty }^{+\infty }{f}_1(x)f_2(z-x)dx$
  中心极限定律：有n个分布相同并且均值为a，方差为${\sigma }^2$的随机变量，他们的平均值的满足分布
  $$\bar{x}\to N\left(a,\frac{{\sigma }^2}{n}\right)$$
  假设每个目标变量和输入变量满足：
  $y^{(i)}={\theta }^T{x}^{(i)}+{ϵ}^{(i)}$
  其中${ϵ}^{(i)}$是高斯分布，并且满足独立同分布假设(IID)，那么$y^{(i)}$应该满足
  $p\left(y^{(i)}\mid x^{(i)};\theta \right)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2}{2{\sigma }^2}\right)$ 左边的符号叫做 the distribution of y(i) given x(i) and parameterized by θ。 然后利用所有样本求log liklihood 得到$m\log \frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{{\sigma }^2}\cdot \frac{1}{2}{\sum }_{i=1}^m{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2$， 可以看出最大化log liklihood等于最小化最小二乘法损失函数。

• Logistic regression
  利用一个sigmoid函数将线性模型的输出限制在0到1之间
  $h_{\theta }(x)=g\left({\theta }^{T}x\right)=\frac{1}{1+e^{-{\theta }^{T}x}}$，其中h表示hypothese。 它的log likilihood 导数为
  $\begin{array}{rl}\frac{\partial }{\partial {\theta }_j}\ell (\theta )& =\left(y-h_{\theta }(x)\right)x_j\end{array}$

由于它不像最小二乘法那样可以直接用normal equation求出导数为0点，所以只能用梯度法或牛顿法。

牛顿法是用迭代法求$f(\theta )$的零点:
$\theta :=\theta -\frac{f(\theta )}{f^{\prime }(\theta )}$
可以理解为当前点的高度除以斜率就得到了在水平方向需要移动的距离。
把牛顿法用于对数似然的导数：
$\theta :=\theta -\frac{{\ell }^{\prime }(\theta )}{{\ell }^{\prime \prime }(\theta )}$
在多维情况下，牛顿法写成
$\theta :=\theta -H^{-1}{\nabla }_{\theta }\ell (\theta )$
其中$H_{ij}=\frac{{\partial }^2\ell (\theta )}{\partial {\theta }_i\partial {\theta }_j}$
在维数很少的情况下，牛顿法因为是二次收敛，所以速度很快。但是当维数增加时，由于要求海森矩阵的逆，所以计算量很大，这时因考虑用梯度法。

p阶收敛： 设迭代过程 $x_{k+1}=f\left(x_k\right)$ 收敛于 $f(x)=0$ 的根 $x_0$
每一步的误差为$e_k=\left|x_0-x_k\right|$ 那么存在常数c使得迭代次数k无限大的时候有 ${\lim }_{k\to +\infty }\frac{e_{k+1}}{e_k^p}=c$

• 感知机
  还有一种方法可以把线性模型用于二分类任务，那就是强制模型输出0或1，即$g(z)=\{\begin{array}{ll}1& \text{ if }z\ge 0\\ 0& \text{ if }z<0\end{array}$，$h_{\theta }(x)=g\left({\theta }^{T}x\right)$。参数更新公式为：
  ${\theta }_j:={\theta }_j+\alpha \left(y^{(i)}-h_{\theta }\left(x^{(i)}\right)\right)x_j^{(i)}$
  可以看出只有预测出错的点会给出梯度，并且梯度方向就是x的方向。
  

• 指数族
  $p(y;\eta )=b(y)\exp \left({\eta }^{T}T(y)-a(\eta )\right)$ 在指数族分布中，唯一的参数是$\eta$(eta), 它也叫做natural parammeter. 一般令$T(y)$等于y。$a(\eta )$叫做log partition function。
  伯努利(二项)分布和高斯分布等很多分布都可以写成指数族分布的形式，比如
  $\begin{array}{rl}p(y;\varphi )& ={\varphi }^y(1-\varphi {)}^{1-y}\\ & =\exp (y\log \varphi +(1-y)\log (1-\varphi ))\\ & =\exp \left(\left(\log \left(\frac{\varphi }{1-\varphi }\right)\right)y+\log (1-\varphi )\right)\end{array}$
  其中$\eta =\log (\varphi /(1-\varphi ))$,反过来$\varphi =1/\left(1+e^{-\eta }\right)$
  $\begin{array}{rl}T(y)& =y\\ a(\eta )& =-\log (1-\varphi )\\ & =\log \left(1+e^{\eta }\right)\\ b(y)& =1\end{array}$

  为什么要使用指数族分布呢，因为在用MLE(最大似然估计)计算$\eta$时，可以保证$\eta$有全局最优值。 并且指数族分布的期望可以简单的表示为log partition function的一阶导数，方差可以表示为log partition function的二阶导数。

  在建立generalized linear model 时，我们有以下三个假设，第一个y满足以$\eta$为参数的指数族分布，第二个是最终得到的用来预测y值的hypothesis 满足$h(x)=\mathrm{E}[T(y)\mid x]$,但是对于回归和二分类来说，$T(y)=y$，第三是把$\eta$ reparameterize 成${\theta }^{T}x$

  这里还引入两个术语，我们把$g(\eta )=\mathrm{E}[T(y);\eta ]$叫做response function, 把它的反函数叫做link function.
  利用MLE求$\theta$的梯度：
  
  如果待预测的y是二值的，我们假设它满足二项分布，它的期望是$\varphi$, 又根据$\varphi =1/\left(1+e^{-\eta }\right)$，可以推出h(x)应该为$1/\left(1+e^{-{\theta }^{T}x}\right)$正好是Logistic regression的hypothesis.
  
  注意$h_{\theta }(x)$是作为一个参数(T(y)的期望)存在于概率密度函数中，而关于$\theta$的损失函数是根据最大似然得到的。比如线性回归中概率密度是高斯分布，而$h_{\theta }(x)$就相当于参数$\mu$。
  再比如在二项分布${\varphi }^y(1-\varphi {)}^{1-y}$中，$h_{\theta }(x)$就相当于$\varphi$.

  多项分布的概率为 p ( y ; ϕ ) = ϕ 1 1 { y = 1 } ϕ 2 1 { y = 2 } ⋯ ϕ k 1 { y = k } = ϕ 1 1 { y = 1 } ϕ 2 1 { y = 2 } ⋯ ϕ k 1 − ∑ i = 1 k − 1 1 { y = i } = ϕ 1 ( T ( y ) ) 1 ϕ 2 ( T ( y ) ) 2 ⋯ ϕ k 1 − ∑ i = 1 k − 1 ( T ( y ) ) i = exp ⁡ ( ( T ( y ) ) 1 log ⁡ ( ϕ 1 ) + ( T ( y ) ) 2 log ⁡ ( ϕ 2 ) + ⋯ + ( 1 − ∑ i = 1 k − 1 ( T ( y ) ) i ) log ⁡ ( ϕ k ) ) = exp ⁡ ( ( T ( y ) ) 1 log ⁡ ( ϕ 1 / ϕ k ) + ( T ( y ) ) 2 log ⁡ ( ϕ 2 / ϕ k ) + ⋯ + ( T ( y ) ) k − 1 log ⁡ ( ϕ k − 1 / ϕ k ) + log ⁡ ( ϕ k ) ) = b ( y ) exp ⁡ ( η T T ( y ) − a ( η ) ) \begin{aligned} p(y ; \phi)=& \phi_{1}^{1\{y=1\}} \phi_{2}^{1\{y=2\}} \cdots \phi_{k}^{1\{y=k\}} \\=& \phi_{1}^{1\{y=1\}} \phi_{2}^{1\{y=2\}} \cdots \phi_{k}^{1-\sum_{i=1}^{k-1} 1\{y=i\}} \\=& \phi_{1}^{(T(y))_{1}} \phi_{2}^{(T(y))_{2}} \cdots \phi_{k}^{1-\sum_{i=1}^{k-1}(T(y))_{i}} \\=& \exp \left((T(y))_{1} \log \left(\phi_{1}\right)+(T(y))_{2} \log \left(\phi_{2}\right)+\right.\\ &\left.\cdots+\left(1-\sum_{i=1}^{k-1}(T(y))_{i}\right) \log \left(\phi_{k}\right)\right) \\=& \exp \left((T(y))_{1} \log \left(\phi_{1} / \phi_{k}\right)+(T(y))_{2} \log \left(\phi_{2} / \phi_{k}\right)+\right.\\ &\left.\cdots+(T(y))_{k-1} \log \left(\phi_{k-1} / \phi_{k}\right)+\log \left(\phi_{k}\right)\right) \\=& b(y) \exp \left(\eta^{T} T(y)-a(\eta)\right) \end{aligned} p(y;ϕ)======​ϕ11{y=1}​ϕ21{y=2}​⋯ϕk1{y=k}​ϕ11{y=1}​ϕ21{y=2}​⋯ϕk1−∑i=1k−1​1{y=i}​ϕ1(T(y))1​​ϕ2(T(y))2​​⋯ϕk1−∑i=1k−1​(T(y))i​​exp((T(y))1​log(ϕ1​)+(T(y))2​log(ϕ2​)+⋯+(1−i=1∑k−1​(T(y))i​)log(ϕk​))exp((T(y))1​log(ϕ1​/ϕk​)+(T(y))2​log(ϕ2​/ϕk​)+⋯+(T(y))k−1​log(ϕk−1​/ϕk​)+log(ϕk​))b(y)exp(ηTT(y)−a(η))​

其中 1 { y = 1 } 1\{y=1\} 1{y=1}在y等于1时为1，在y不等于1时为0. $T(y)$是根据y取值变化的独热向量，第三到第四个式子用到了换底公式$a^x=e^{xlna}$, 从上面的推导中还可以得到link function ： ${\eta }_i=\log \frac{{\varphi }_i}{{\varphi }_k}$ ， 并且${\eta }_k=0$进而得到response function ：${\varphi }_i=\frac{e^{{\eta }_i}}{{\sum }_{j=1}^k{e}^{{\eta }_j}}$， 这里利用到${\varphi }_1+...{\varphi }_k=1$.
所以，最终的hypothesis应该为：
$\begin{array}{rl}{h}_{\theta }(x)& =\mathrm{E}[T(y)\mid x;\theta ]\\ & =\left[\begin{array}{c}{\varphi }_1\\ {\varphi }_2\\ ⋮\\ {\varphi }_{k-1}\end{array}\right]\\ & =\left[\begin{array}{c}\frac{\exp \left({\theta }_1^{T}x\right)}{{\sum }_{j=1}^k\exp \left({\theta }_j^{T}x\right)}\\ \frac{\exp \left({\theta }_2^{T}x\right)}{{\sum }_{j=1}^k\exp \left({\theta }_j^{T}x\right)}\\ ⋮\\ \frac{\exp \left({\theta }_{k-1}^{T}x\right)}{{\sum }_{j=1}^k\exp \left({\theta }_j^{T}x\right)}\end{array}\right]\end{array}$
这里省略了${\varphi }_k$

• generative learning algorithms GDA
  假设现在要对猫和狗进行，一种做法是分别对猫和狗进行建模，当碰到一个新动物时，看它和哪个模型更符合就把它分为哪个类，这种方法叫做generative learning，它相当于学习$p(x\mid y)$和先验分布$p(y)$. 而直接学习后验分布$p(y\mid x)$的方法叫做discriminative learning。利用贝叶斯公式,$p(x\mid y)$和$p(y)$,可以得到后验分布$p(y\mid x)=\frac{p(x\mid y)p(y)}{p(x)}$，在二分类任务下$p(x)=p(x\mid y=1)p(y=1)+p(x\mid y=0)p(y=0)$. 预测还是基于后验概率进行的，因为即使特征和某一类别的模型很吻合，但是这个类别在样本中过于稀少，那么特征属于这个类的概率也不会太高，
  $\begin{array}{rl}\arg \underset{y}{\max }p(y\mid x)& =\arg \underset{y}{\max }\frac{p(x\mid y)p(y)}{p(x)}\\ & =\arg \underset{y}{\max }p(x\mid y)p(y).\end{array}$

对于二项分布来说，假设每一个类别内x都满足均值不同但协方差相同的多元高斯分布，那么有
$\begin{array}{rl}p(y)& ={\varphi }^y(1-\varphi {)}^{1-y}\\ p(x\mid y=0)& =\frac{1}{(2\pi {)}^{n/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}{\left(x-{\mu }_0\right)}^T{\Sigma }^{-1}\left(x-{\mu }_0\right)\right)\\ p(x\mid y=1)& =\frac{1}{(2\pi {)}^{n/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}{\left(x-{\mu }_1\right)}^T{\Sigma }^{-1}\left(x-{\mu }_1\right)\right)\end{array}$

最大化联合概率密度$p(x,y)$的对数似然得到
$\begin{array}{rl}\varphi & =\frac{1}{m}\sum _{i=1}^{m}1\left\{y^{(i)}=1\right\}\\ {\mu }_0& =\frac{{\sum }_{i=1}^{m}1\left\{y^{(i)}=0\right\}{x}^{(i)}}{{\sum }_{i=1}^{m}1\left\{y^{(i)}=0\right\}}\\ {\mu }_1& =\frac{{\sum }_{i=1}^{m}1\left\{y^{(i)}=1\right\}{x}^{(i)}}{{\sum }_{i=1}^{m}1\left\{y^{(i)}=1\right\}}\\ \Sigma & =\frac{1}{m}\sum _{i=1}^m\left(x^{(i)}-{\mu }_{y^{(i)}}\right){\left(x^{(i)}-{\mu }_{y^{(i)}}\right)}^T\end{array}$
用MLE证明以上式子成立

还是以二项分布为例，如果把$p\left(y=1\mid x;\varphi ,{\mu }_0,{\mu }_1,\Sigma \right)$看成是x的函数，那么有
$p\left(y=1\mid x;\varphi ,\Sigma ,{\mu }_0,{\mu }_1\right)=\frac{1}{1+\exp \left(-{\theta }^{T}x\right)}$，可以看出二项分布的GDA可以导出losgistic回归，说明GDA拥有更强的假设。 在数据量小的时候可以选择GDA, 因为它提供更多先验知识，而数据量大的时候应该选择logistic回归。
证明GDA可以写成logistic回归

证明logistic回归 的海森矩阵为半正定

注意，这里$$\sum _i^m\left(y^{(i)}-g({\eta }^{(i)})\right)x_j^{(i)}$$ 应该写成$$\sum _i^m\left(g({\eta }^{(i)})-y^{(i)}\right)x_j^{(i)}$$这样才能 保证H是半正定的。另外$a^{\prime }(\eta )=g(\eta )$对所有指数族都是成立的，因为它是指数族的性质之一。

牛顿法中的一阶导数J，在多样本的形式下可以写成$$X^{\top }(g(\eta )-Y)$$

绘制GDA的决策边界需要首先将其转换成等价的logistic回归

其中紫色的是GDA,红色的是logistic。

现在有一个问题，如果训练集中只有部分正样本有标签y=1， 而其它正样本和所有负样本的标签都为0，那么应该如何训练模型？假设样本的真正标签为1，首先应该证明$P\left(y^{(i)}=1\mid x^{(i)}\right)$和$p\left(t^{(i)}=1|x^{(i)}\right)$ 只差一个常数项$\alpha$

红色是用t标签来训练，紫色是用y标签训练，而黑色边界是先用y标签训练，然后再用验证集得到$\alpha$, 注意如果是对正样本的概率进行排序，不需要知道$\alpha$

证明指数族的期望等于log-partition function函数的一阶导数，证明方差为其二阶导数, 证明指数族的 negative log-likelihood的海森矩阵是半正定

• 泊松分布
  假设医院平均一天诞生$\lambda$个，如何计算每天出生数k等于不同值时的概率分布呢？
  一个方法是把一天分成86400秒，然后用二项分布来建模
  $\frac{86400!}{(86400-k)!\times k!}\times {\left(\frac{\lambda }{86400}\right)}^k{\left(1-\frac{\lambda }{86400}\right)}^{86400-k}$
  进一步，把一天的时间进行无线的划分，就会得到一个极限，这个极限就是泊松分布
  $\frac{n!}{(n-k)!\times k!}\times {\left(\frac{\lambda }{n}\right)}^k{\left(1-\frac{\lambda }{n}\right)}^{n-k}=1\left(1-\frac{1}{n}\right)\left(1-\frac{2}{n}\right)\dots \left(1-\frac{k-1}{n}\right){\lambda }^k\frac{1}{k!}\frac{{\left(1-\frac{\lambda }{n}\right)}^n}{{\left(1-\frac{\lambda }{n}\right)}^k}\approx 1\times {\lambda }^k\frac{1}{k!}\frac{e^{-\lambda }}{1}=\frac{{\lambda }^k{e}^{-\lambda }}{k!}$
  把泊松分布写成指数族分布：
  
• local weighted linear regression

损失函数
$J(\theta )=\frac{1}{2}{\sum }_{i=1}^m{w}^{(i)}{\left({\theta }^T{x}^{(i)}-y^{(i)}\right)}^2$
和线性回归一样，可以直接求出损失函数的极小值。

假设每个example都服从拥有不同$\sigma$的高斯分布，可以证明
其MLE等价于一个locally weighted linear regression 问题

实现一个$w^{(i)}=\exp \left(-\frac{{\Vert x^{(i)}-x\Vert }_2^2}{2{\tau }^2}\right)$的locally weighted linear regression

tau=1

tau=0.5

tau=0.1

PS2

• Naive Bayes
  在进行垃圾邮件分类时，把文本看成是一个字典大小的向量，其中每个值代表对应的单词是否出现在邮件中。
  x = [ 1 0 0 ⋮ 1 ⋮ 0 ]  a   aardvark   aardwolf  ⋮  buy  ⋮  zygmurgy  x=\left[\begin{array}{c}1 \\ 0 \\ 0 \\ \vdots \\ 1 \\ \vdots \\ 0\end{array}\right] \quad \begin{aligned}&\text { a } \\&\text { aardvark } \\&\text { aardwolf } \\&\vdots \\&\text { buy } \\&\vdots \\&\text { zygmurgy }\end{aligned} x=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​100⋮1⋮0​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​​ a  aardvark  aardwolf ⋮ buy ⋮ zygmurgy ​
  假设词典大小为5000， 把x看成一个多项式分布，那么给定一个y值需要建模$2^{5000}$个不同的概率值，这显然是不现实的。在naive bayes 假设中，给定y值的情况下，每个$x_i$都是独立的，所以有
  $p\left(x_1,\dots ,x_{50000}\mid y\right)={\prod }_{i=1}^{n}p\left(x_i\mid y\right)$
  用MLE得到
  $\begin{array}{rl}{\varphi }_{j\mid y=1}& =\frac{{\sum }_{i=1}^{m}1\left\{x_j^{(i)}=1\wedge y^{(i)}=1\right\}}{{\sum }_{i=1}^{m}1\left\{y^{(i)}=1\right\}}\\ {\varphi }_{j\mid y=0}& =\frac{{\sum }_{i=1}^{m}1\left\{x_j^{(i)}=1\wedge y^{(i)}=0\right\}}{{\sum }_{i=1}^{m}1\left\{y^{(i)}=0\right\}}\\ {\varphi }_y& =\frac{{\sum }_{i=1}^{m}1\left\{y^{(i)}=1\right\}}{m}\end{array}$

为了防止某一个$\varphi$为0导致整个概率为0，这里把$\varphi$的分子加1，即
ϕ j ∣ y = 1 = ∑ i = 1 m 1 { x j ( i ) = 1 ∧ y ( i ) = 1 } + 1 ∑ i = 1 m 1 { y ( i ) = 1 } + 2 \phi_{j \mid y=1}=\frac{\sum_{i=1}^{m} 1\left\{x_{j}^{(i)}=1 \wedge y^{(i)}=1\right\}+1}{\sum_{i=1}^{m} 1\left\{y^{(i)}=1\right\}+2} ϕj∣y=1​=∑i=1m​1{y(i)=1}+2∑i=1m​1{xj(i)​=1∧y(i)=1}+1​
ϕ j ∣ y = 0 = ∑ i = 1 m 1 { x j ( i ) = 1 ∧ y ( i ) = 0 } + 1 ∑ i = 1 m 1 { y ( i ) = 0 } + 2 \phi_{j \mid y=0}=\frac{\sum_{i=1}^{m} 1\left\{x_{j}^{(i)}=1 \wedge y^{(i)}=0\right\}+1}{\sum_{i=1}^{m} 1\left\{y^{(i)}=0\right\}+2} ϕj∣y=0​=∑i=1m​1{y(i)=0}+2∑i=1m​1{xj(i)​=1∧y(i)=0}+1​
分母加2是因为$x_j$是二项分布，只有0和1两种取值。这种操作叫做laplace smoothing.

在multinomial event model 中，特征向量的长度等于文本长度。每个$x_j$都是满足一个多项式分布，且这个分布对所有j相同。利用MLE可以得到
$\begin{array}{rl}{\varphi }_{k\mid y=1}& =\frac{{\sum }_{i=1}^m{\sum }_{j=1}^{n_i}1\left\{x_j^{(i)}=k\wedge y^{(i)}=1\right\}}{{\sum }_{i=1}^{m}1\left\{y^{(i)}=1\right\}{n}_i}\\ {\varphi }_{k\mid y=0}& =\frac{{\sum }_{i=1}^m{\sum }_{j=1}^{n_i}1\left\{x_j^{(i)}=k\wedge y^{(i)}=0\right\}}{{\sum }_{i=1}^{m}1\left\{y^{(i)}=0\right\}{n}_i}\\ {\varphi }_y& =\frac{{\sum }_{i=1}^{m}1\left\{y^{(i)}=1\right\}}{m}.\end{array}$
可以看到和之前的Bernoulli event model不同之处在于，文本中同一个词要被计算多次。 如果event model 要进行smoothing, 分母要加$|V|$即字典大小，因为文本中的每一个单词$x_j$是一个多项分布

• SVM
  svm的主要思想是令训练集中每个被正确分类的example离决策边界或者说seperating hyperplane的距离越大越好。

  SVM中分类器的形式为$h_{w,b}(x)=g\left(w^{T}x+b\right)$，和感知机的形式类似，只是当$z$小于0时，$g(z)=-1$, 目的是方便定义每个样本的functional margin
  ${\hat{\gamma }}^{(i)}=y^{(i)}\left(w^{T}x+b\right)$
  而对于整个训练集的functional margin 为
  $\hat{\gamma }={\min }_{i=1,\dots ,m}{\hat{\gamma }}^{(i)}$
  svm的目标就是最大化$\hat{\gamma }$
  决策边界可以表示成$w^{T}x+b=0$， 可以看出w和b同时乘以一个常数不会改变超平面，但是会改变funtional margin, 所以实际上functional margin 和样本点到超平面的距离差了一个尺度。

  所以这里引入了geometric margin，用来精确表示样本到超平面距离
  ${\gamma }^{(i)}=y^{(i)}\left({\left(\frac{w}{\Vert w\Vert }\right)}^T{x}^{(i)}+\frac{b}{\Vert w\Vert }\right)$
  即样本点超平面法向量上的投影减去超平面到原点的距离。 当限制$\Vert w\Vert =1$时，geometric margin和functional margin 相等，所以svm可以写成优化问题：
  ${\max }_{\gamma ,w,b}\gamma$
  s.t. $y^{(i)}\left(w^T{x}^{(i)}+b\right)\ge \gamma ,i=1,\dots ,m$ $\Vert w\Vert =1$.
  或者不加限制
  ${\max }_{\gamma ,w,b}\gamma$
  s.t. $y^{(i)}\frac{\left(w^T{x}^{(i)}+b\right)}{\Vert w\Vert }\ge \gamma ,i=1,\dots ,m$ .
  为了把$\Vert w\Vert$从约束中去掉，可以写成
  ${\max }_{\gamma ,w,b}\frac{\hat{\gamma }}{\Vert w\Vert }$
  s.t. $y^{(i)}\left(w^T{x}^{(i)}+b\right)\ge \hat{\gamma },i=1,\dots ,m$
  但是上面三种情况要么约束不是凸函数，要么优化目标不是凸函数，注意到w和b同时乘以一个常数都不会影响结果，所以可以令$\hat{\gamma }=1$, 又最大化$1/\Vert w\Vert$相当于最小化$\Vert w{\Vert }^2$，所以最终的优化问题写成
  $\begin{array}{rl}\underset{\gamma ,w,b}{\min }& \frac{1}{2}\Vert w{\Vert }^2\\ \text{ s.t. }{y}^{(i)}\left(w^T{x}^{(i)}+b\right)\ge 1,i=1,\dots ,m& \end{array}$

拉格朗日乘子法
假设有自变量x和y，给定约束条件g(x,y)=c，要求f(x,y)在约束g下的极值。
画出f(x,y)的等高线以及g(x,y)=c的曲线，可以看出当f(x,y)逐渐缩小至与g(x,y)=c相切时达到极值，所以在该极值点，f和g的梯度方向应该一致，即
$\nabla f=\lambda \nabla g$
$g(x,y)=0$


如果有多个约束呢？ 上图中平面和球面分别对应两个等式约束h1和h2,可行域就是他们俩相交的圆。不难证明该圆上某点的切线必须同时满足和h1,h2，f在该点的梯度垂直，如果要有非零解的话推出f在该点的梯度是h1,h2梯度的线性组合，所以有
$\nabla f(x)=\lambda {\sum }_{i=1}^2{\mu }_i\nabla h_i(x)={\sum }_{i=1}^2{\lambda }_i\nabla h_i(x)$
$h_1(x)=0$
$h_2(x)=0$

如果有不等式约束怎么办，对于

$$\min f(x)\begin{array}{ll}\text{ s.t. }& h(x)=0\\ & g(x)\le 0\end{array}$$
可以画出两张图

前者对应极值点本身在可行域内的情况，后者和之前的情况相同，即极值点在可行域边界上。
对于第一种情况，不等式约束g不起作用，有
$\nabla f(x)+\lambda \nabla h(x)=0$
$h(x)=0$
$g(x)\le 0$

对于第二种情况有
$\nabla f(x)+\lambda \nabla h(x)+\mu \nabla g(x)=0$
$h(x)=0$
$g(x)=0$
$\mu \ge 0$
这里$\mu \ge 0$是因为g(x)的梯度指向可行域之外，而f(x)指向可行域内，所以两者应该方向相反。
可以验证两种情况下都满足$\mu g(x)=0$，所以合在一起写成
$\nabla f(x)+\lambda \nabla h(x)+\mu \nabla g(x)=0$
$\mu g(x)=0$
$\mu \ge 0$
$h(x)=0$
$g(x)\le 0$
这就是所谓KKT条件。
但是并不是所有优化问题的极值点都满足KKT条件，有以下几个规范性条件

LCQ：如果 h(x) 和 g(x) 都是形如 Ax+b 的仿射函数，那么极值一定满足 KKT 条件。
LICQ：起作用的 g(x) 函数（即 g(x) 相当于等式约束的情况）和 h(x) 函数在极值点处的梯度要线性无关，那么极值一定满足 KKT 条件。
Slater条件：如果优化问题是个凸优化问题，且至少存在一个点满足 h(x)=0 和 g(x)<0，极值一定满足 KKT条件。并且满足强对偶性质。

所谓凸优化问题是指目标函数f，不等式约束条件g都是凸函数，而等式约束h是仿射函数(AX+b)

定义广义拉格朗日函数generalized Lagrangian
$\mathcal{L}(w,\alpha ,\beta )=f(w)+{\sum }_{i=1}^k{\alpha }_i{g}_i(w)+{\sum }_{i=1}^l{\beta }_i{h}_i(w)$
待不等约束的优化问题等价于原始问题：
${\min }_w{\max }_{\alpha ,\beta :{\alpha }_i\ge 0}\mathcal{L}(w,\alpha ,\beta )$
${\alpha }_i\ge 0$限制了$g_i(w)$必须小于0，不然的话$\mathcal{L}$可以取无穷大，那么$w$处也取不到最小值。
原始(primal)问题和对偶(dual)问题
假设每个x轴和每个y轴方向上都能找到无穷大或者无穷小，那么原始问题只能找到无穷大，而对偶问题只能找到无穷小。

利用对偶问题求解SVM

在测试时
$\begin{array}{rl}{w}^{T}x+b& ={\left(\sum _{i=1}^m{\alpha }_i{y}^{(i)}{x}^{(i)}\right)}^{T}x+b\\ & =\sum _{i=1}^m{\alpha }_i{y}^{(i)}⟨x^{(i)},x⟩+b\end{array}$
可以看出测试时只需要知道样本对应的${\alpha }_i$以及和待测点的内积，并且只有支持向量对应的${\alpha }_i$才不为0,因为${\alpha }_i{g}_i(w)\ge 0$。理解：和正例支持向量的内积之和越大，越可能是正例。

可以对input atrributes 做一个feature mapping, 比如x本身是一个三维向量，可以定义
$\varphi (x)=\left[\begin{array}{c}{x}_1{x}_1\\ x_1{x}_2\\ x_1{x}_3\\ x_2{x}_1\\ x_2{x}_2\\ x_2{x}_3\\ x_3{x}_1\\ x_3{x}_2\\ x_3{x}_3\\ \sqrt{2c}{x}_1\\ \sqrt{2c}{x}_2\\ \sqrt{2c}{x}_3\\ c\end{array}\right]$
然后把kernel 定义成两个feature的内积
$K(x,z)=\varphi (x{)}^T\varphi (z)$
直接计算feature复杂度会达到O(n^2)，所以这里先计算input的内积，然后再进行转换
$\begin{array}{rl}K(x,z)& ={\left(x^{T}z+c\right)}^2\\ & =\sum _{i,j=1}^n\left(x_i{x}_j\right)\left(z_i{z}_j\right)+\sum _{i=1}^n\left(\sqrt{2c}{x}_i\right)\left(\sqrt{2c}{z}_i\right)+c^2\end{array}$
从而把时间复杂度缩减到O(n)
如果先不考虑future mapping，而是首先定义kernel的形式呢？比如，因为kernel考虑是两个样本的相似性，所以可以定义
$K(x,z)=\exp \left(-\frac{\Vert x-z{\Vert }^2}{2{\sigma }^2}\right)$， 然后再去验证kernel是否可以写成两个feature内积的形式。
这里有一个Mercer定理，如果kernel对应的矩阵是一个半正定矩阵那么它一定能表示成内积形式(对于m个样本来说)。

对于文本分类任务，如果先定义feature mapping为每个长度为4的子串出现的频率，那么feature 的维度会非常大，而如果我们直接定义kernel,只需要用动态规划计算匹配的字符串数量就行了。
有些情况下数据是线性不可分的，必须对svm进行一个松弛，即yg(x）并不要求严格大于等于1, 得到一个新的优化问题
$\begin{array}{rl}\underset{\gamma ,w,b}{\min }& \frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\xi }_i\\ \text{ s.t. }& y^{(i)}\left(w^T{x}^{(i)}+b\right)\ge 1-{\xi }_i,i=1,\dots ,m\\ & {\xi }_i\ge 0,i=1,\dots ,m.\end{array}$
可以证明它最终只是给a加了一个上界C，即
s.t. $0\le {\alpha }_i\le C,i=1,\dots ,m$，并且改变了KKT条件。
对偶函数
$\mathcal{L}(w,b,\xi ,\alpha ,r)=\frac{1}{2}{w}^{T}w+C{\sum }_{i=1}^m{\xi }_i-{\sum }_{i=1}^m{\alpha }_i\left[y^{(i)}\left(x^{T}w+b\right)-1+{\xi }_i\right]-{\sum }_{i=1}^m{r}_i{\xi }_i$

剩下的就是如果优化$\alpha$，SMO算法的思路每次从${\alpha }_1,{\alpha }_2,\dots ,{\alpha }_m$ 中选取两个进行优化，直到所有$\alpha$满足KKT条件。选取两个是因为如果只选一个无法满足${\sum }_{i=1}^m{\alpha }_i{y}^{(i)}=0$

从图中可以看出，点$\left({\alpha }_1,{\alpha }_2\right)$在一个线段上移动，假设自变量为${\alpha }_2$，它由上界H和下界L，在求出${\alpha }_2^{new}$后需要进行clip

每一轮迭代之后都需要更新E.

learning theory

如果把training set看成一个变量，而学习过程(model)看成是一个deterministic functon,那么通过学习得到的hypothesis也是一个变量。
generalization error 是 hypothesis 的在所有样本上的expected error，即
$\epsilon (h)=P_{(x,y)\sim \mathcal{D}}(h(x)\ne y)$
一个模型的bias是当数据集很大或无限大时，生成的hypothesis的generalization error。
variance是指模型根据不同的训练集产生的hypothesis的generalization error方差。

也就是说如果模型过于简单，不能拟合训练数据，那么就会产生较大的bias。如果模型太复杂，那么就会过拟合，进而产生较大的variance。

学习理论用到了两个定理
几个事件交集的概率小于各自概率之和
$P\left(A_1\cup \cdots \cup A_k\right)\le P\left(A_1\right)+\dots +P\left(A_k\right)$
以及Hoeffding inequality
它说的是m个独立同分布的伯努利Bernoulli $(\varphi )$变量，用这些变量的均值$\hat{\varphi }$作为$\varphi$的估计值，那么
估计值和真实值之间的误差大于$\gamma$的概率在m很大时应该会很小，即
$P(|\varphi -\hat{\varphi }|>\gamma )\le 2\exp \left(-2{\gamma }^{2}m\right)$

对于二分类下某个hypothesis来说，它在任意一个样本上出错的概率就等于它的泛化误差，所以根据Hoeffding inequality我们可以用经验误差来估计泛化误差
$\hat{\epsilon }(h)=\frac{1}{m}{\sum }_{i=1}^{m}1\left\{h\left(x^{(i)}\right)\ne y^{(i)}\right\}$

我们把学习算法看成是一个在hypothesis 集合$\mathcal{H}$中找到一个能最小化经验误差的hypothesis的过程。
$\hat{h}=\arg {\min }_{h\in \mathcal{H}}\hat{\epsilon }(h)$

根据Hoeffding inequality，已知$h_i$的经验误差，我们能获得它的泛化误差上下界。
$P\left(\left|\epsilon \left(h_i\right)-\hat{\epsilon }\left(h_i\right)\right|>\gamma \right)\le 2\exp \left(-2{\gamma }^{2}m\right)$
但是如果我们想获得集合中所有hypothesis同事满足的上下界呢，这里用到了第一个过于并集的公式
$\begin{array}{rl}P\left(\exists h\in \mathcal{H}.\left|\epsilon \left(h_i\right)-\hat{\epsilon }\left(h_i\right)\right|>\gamma \right)& =P\left(A_1\cup \cdots \cup A_k\right)\\ & \le \sum _{i=1}^{k}P\left(A_i\right)\\ & \le \sum _{i=1}^{k}2\exp \left(-2{\gamma }^{2}m\right)\\ & =2k\exp \left(-2{\gamma }^{2}m\right)\end{array}$
然后用1减去不等式两边，得到
$\begin{array}{rl}P\left(\neg \exists h\in \mathcal{H}.\left|\epsilon \left(h_i\right)-\hat{\epsilon }\left(h_i\right)\right|>\gamma \right)& =P\left(\forall h\in \mathcal{H}.\left|\epsilon \left(h_i\right)-\hat{\epsilon }\left(h_i\right)\right|\le \gamma \right)\\ & \ge 1-2k\exp \left(-2{\gamma }^{2}m\right)\end{array}$
进一步我们可以获得满足最小经验误差的hypothesis $\hat{h}$ 它的泛化误差应该满足
$\begin{array}{rl}\epsilon (\hat{h})& \le \hat{\epsilon }(\hat{h})+\gamma \\ & \le \hat{\epsilon }\left(h^{\ast }\right)+\gamma \\ & \le \epsilon \left(h^{\ast }\right)+2\gamma \end{array}$
其中$h^{\ast }$是最小化泛化误差的hypothesis，即最优hypothesis。

有了上面的公式，我们可以问一个问题，在保证概率至少为$1-\delta$的情况下，至少需要多少个训练样本，才能保证训练误差在泛化误差的$\gamma$领域内。
答案是
$m\ge \frac{1}{2{\gamma }^2}\log \frac{2k}{\delta }$
其中k是集合中hypothesis的数量，可以看出m和k应该是线性关系。
以64位浮点数为例，假设模型参数中有d个浮点数
则
$m\ge O\left(\frac{1}{{\gamma }^2}\log \frac{2^{\text{6dd}}}{\delta }\right)=O\left(\frac{d}{{\gamma }^2}\log \frac{1}{\delta }\right)=O_{\gamma ,\delta }(d)$
但是如果参数是实数，或者参数数量并不能反映集合大小，比如两组不同参数对应的hypothesis相同的情况。
令$S=\left\{x^{(i)},\dots ,x^{(d)}\right\}$是一个包含d个点的集合，
$\mathcal{H}$ shatters $S$ 是指无论这d个点的标签分别是什么，$\mathcal{H}$ 中都能找到一个hypothesis能正确分类。
$\mathcal{H}$ 所能找到的最大的d就是它的VC维。
比如线性分类器的VC维是3

注意只要找到一个S就行，没必要满足所有的S，比如下面这个大小为3的S，线性分类器就不能shatter。

对于VC维d，有
$\epsilon (\hat{h})\le \epsilon \left(h^{\ast }\right)+O\left(\sqrt{\frac{d}{m}\log \frac{m}{d}+\frac{1}{m}\log \frac{1}{\delta }}\right)$

如何减少variance? 一个方法是对模型参数$\theta$加上一些约束，比如l1,l2正则项。

在贝叶斯学派的人眼中， 模型参数$\theta$也是一个随机变量，所以也有一个先验分布。
给定数据集S，模型参数的后验分布可以写成
$\begin{array}{rl}p(\theta \mid S)& =\frac{p(S\mid \theta )p(\theta )}{p(S)}\\ & =\frac{\left({\prod }_{i=1}^{m}p\left(y^{(i)}\mid x^{(i)},\theta \right)\right)p(\theta )}{{\int }_{\theta }\left({\prod }_{i=1}^{m}p\left(y^{(i)}\mid x^{(i)},\theta \right)p(\theta )\right)d\theta }\end{array}$

给定一个新的样本x， 它的概率应该写成
$p(y\mid x,S)={\int }_{\theta }p(y\mid x,\theta )p(\theta \mid S)d\theta$ ，因为$\theta$是一个随机变量，所以这里必须写成积分形式。

但实际上对高维向量积分是非常困难的，所以一般用概率最大的一个点来代替整个$\theta$的分布，这种做法叫做maximum a posteriori MAP
${\theta }_{\mathrm{M}\mathrm{A}\mathrm{P}}=\arg {\max }_{\theta }{\prod }_{i=1}^{m}p\left(y^{(i)}\mid x^{(i)},\theta \right)p(\theta )$
这里的形式和MLE很像，只是多了一项先验分布$p(\theta )$,可以证明它的作用和频率学派中的正则项一样。

在数据集ds1_b.csv上发现，以梯度的二范数作为判断是否收敛的指标，当阈值设置为1e-4时，logisticregression不能收敛。
阈值放宽到1e-3时，得到的超平面为

同样的条件下在数据集a上就可以收敛。

造成这种现象的原因是代码中使用的logistic 回归使用的是y=-1和y=1两种标签，并且概率函数的写法也不一样。

经过试验发现，添加l2约束和加入随机噪声都能使模型在数据集B上收敛，后者的原因是使原本的线性可分变成不可分。

在线性可分的情况下，第一种形式的functional margin可以无限增大。
而hinge loss 则限制了functional margin 最大为1.
$J(\hat{y})=\max (0,1-y\cdot \hat{y})$

well-calibrated 是指按照训练好的模型预测的正例概率划分一个范围[a,b]，该范围内所有样本的正例概率之和等于正例个数。即
∑ i ∈ I a , b P ( y ( i ) = 1 ∣ x ( i ) ; θ ) ∣ { i ∈ I a , b } ∣ = ∑ i ∈ I a , b I { y ( i ) = 1 } ∣ { i ∈ I a , b } ∣ \frac{\sum_{i \in I_{a, b}} P\left(y^{(i)}=1 \mid x^{(i)} ; \theta\right)}{\left|\left\{i \in I_{a, b}\right\}\right|}=\frac{\sum_{i \in I_{a, b}} \mathbb{I}\left\{y^{(i)}=1\right\}}{\left|\left\{i \in I_{a, b}\right\}\right|} ∣{i∈Ia,b​}∣∑i∈Ia,b​​P(y(i)=1∣x(i);θ)​=∣{i∈Ia,b​}∣∑i∈Ia,b​​I{y(i)=1}​
首先证明在范围[0,1]内logistic回归是well-calibrated的

首先证明${\theta }_{\mathrm{M}\mathrm{A}\mathrm{P}}=\arg {\max }_{\theta }p(\theta \mid x,y)$ 可以写成
${\theta }_{\mathrm{M}\mathrm{A}\mathrm{P}}={\mathrm{argmax}}_{\theta }p(y\mid x,\theta )p(\theta )$， 然后证明$\theta$满足高斯分布的时候，后者在MLE的形式下等价于L2优化，并且对线性回归模型来说可以求得封闭解

如果$\theta$满足拉普拉斯分布，其在MLE下等价于L1约束，但是不能求出封闭解。

证明某个kernel的正多项式，也是一个valid kernel

把感知机kernelize
${\theta }^{(i+1)}:={\theta }^{(i)}+\alpha \left(y^{(i+1)}-h_{\theta (i)}\left(x^{(i+1)}\right)\right)x^{(i+1)}$
做法是把$\theta$看成是$\varphi (x^i)$的加权和，但是$\varphi (x^i)$不用具体计算出结果，只是在新样本过来的时候用来计算kernel。

一共用了两种kernel, 一种是rbf:

distance = (a - b).dot(a - b)
scaled_distance = -distance / (2 * (sigma) ** 2)
return math.exp(scaled_distance)

一种是点乘dot

PS3

决策树
用熵$H(p)=-plo{g}_{2}p$来衡量概率p的不确定性

可以看出p=0.5的时候不确定性最大。
信息增益$g(D,A)=H(D)-H(D\mid A)$是指某个节点按照特征A的取值进行划分之后，不确定性的减小量。
其中
$H(D\mid A)={\sum }_{i=1}^n\frac{|D_i|}{|D|}H\left(D_i\right)=-{\sum }_{i=1}^n\frac{|D_i|}{|D|}{\sum }_{k=1}^K\frac{|D_{ik}|}{|D_i|}{\log }_2\frac{|D_{ik}|}{|D_i|}$

ID3 算法递归地分割节点，直到该节点没有特征可以选择，或者其中所有实例属于同一类。对于第一种停止情况，把该节点中最大的类作为该节点的类标记。

剪枝算法从子节点往上缩，用一个作用于全体叶子节点损失函数来衡量是否合并父节点的所有子节点。

ID3 决策树的缺点是不能处理连续特征，以及不能进行回归任务。CART 决策树改进上述两点，在分类任务中，用基尼系数$Gini(p)={\sum }_{k=1}^K{p}_k\left(1-p_k\right)=1-{\sum }_{k=1}^K{p}_k^2$替代了信息熵并且使用了二叉树，更利于计算。

对于连续特征，假设训练集中一共有m个取值，以相邻取值的中点为划分点，需要考虑m-1种划分。如果是离散特征，并且该特征有m个取值，就考虑m种划分。

如果是回归任务，度量函数变成划分后两个区域的y值的方差之和，在预测时，取叶子节点的均值作为输出。

决策树的一个缺点是variance很高， 而bagging的思路是将多个correlation较低的weak leaner结合起来，它的理论依据是多个同分布，且相关性较小的随机变量的平均值方差比单个变量的方差更小：
$\mathrm{var}\left(\frac{1}{n}{\sum }_{i=1}^n{X}_i\right)=\frac{1}{n}\mathrm{var}\left(X_i\right)+\frac{1}{n^2}{\sum }_{i\ne j}\mathrm{cov}\left(X_i,X_j\right)$
可以看出小于号取决于协方差cov.

而随机森林是指对数据集和特征进行分割然后分开单独训练，从而减小相关性。

boosting采用了另外一种增加bias的思路，每个weak leaner之间有高相关性，即前面步骤得到的分类器在每个样本上的误差会决定下一个步骤中的新分类器在每个样本上的权重。

ML debug

假设现在有一个logistic 回归模型， 他在垃圾邮件分类的测试集上有20的误差率， 如何提升模型性能。每个人可能会选择很多不同的方法，比如增加训练数据， 尝试更多或更少的特征，引入额外的特征比如邮件的header。 或者增加迭代轮次，改变学习率，尝试不同的优化方法，如果实在不行就用新的模型。

假设你怀疑问题要么是过拟合也就是高variance, 要么是特征不够。
那么可以根据模型分别在训练集和测试集上的数据来判断

对于high variance的情况，通常上训练集上的误差会明显小于测试集

随着数据的增加，两者之间的差距会缩小。

而对于high bias 的情况，即使在训练集上模型的错误率都比较高，并且随着数据的增加，测试集上的误差率也不会下降到理想水平

增大训练集，减少特征用于解决high variance , 更多特征或添加新特征用于解决high bias。

如果想判断logistic的损失函数到底有没有收敛，可以找另外一个性能更好的模型比如SVM, 它在评价指标$a(\theta )={\max }_{\theta }\sum w^{(i)}1\left\{h_{\theta }\left(x^{(i)}\right)=y^{(i)}\right\}$上优于logistic 回归。
然后用SVM的模型来计算logistic回归的目标函数(越大越好)$J(\theta )={\sum }_{i=1}^m\log p\left(y^{(i)}\mid x^{(i)},\theta \right)-\lambda \Vert \theta {\Vert }^2$
如果
$\begin{array}{rl}a\left({\theta }_{\text{SVM }}\right)& >a\left({\theta }_{\mathrm{B}\mathrm{L}\mathrm{R}}\right)\\ J\left({\theta }_{\mathrm{S}\mathrm{V}\mathrm{M}}\right)& >J\left({\theta }_{\mathrm{B}\mathrm{L}\mathrm{R}}\right)\end{array}$
说明logistic 在目标函数上不能收敛，优化算法有问题。
如果
$\begin{array}{rl}a\left({\theta }_{\mathrm{S}\mathrm{V}\mathrm{M}}\right)& >a\left({\theta }_{\mathrm{B}\mathrm{L}\mathrm{R}}\right)\\ J\left({\theta }_{\mathrm{S}\mathrm{V}\mathrm{M}}\right)& \le J\left({\theta }_{\mathrm{B}\mathrm{L}\mathrm{R}}\right)\end{array}$
说明即便logisitic回归在目标函数上表现比svm好，但实际效果仍然不如SVM, 目标函数本身有问题。

一个直升机控制算法主要分成三个部分，模拟器，代价方程，以及强化学习算法。
如果直升机在模拟器中表现良好，但是在现实环境中表现不好，说明问题出在模拟器。
如果人类操作的代价函数小于强化学习的代价函数，说明问题在算法模型。
如果强化学习的代价函数更小，说明问题在代价函数本身。

• EM
  
  
  根据多元高斯分布的边缘分布性质，可以证明当X左乘一个行向量b后，得到的标量的方差为$\mathbf{b}\Sigma b^{\prime }$。 如果该方差为0， 说明bX为常量，X中某一个维度可以被其它维度线性表示。反过来，如果协方差矩阵的行列式为singular矩阵，则存在b, 令bX为常数。 在是、实践中，如果变量的维度n大于样本数m，则很可能发生计算出的协方差矩阵为奇异的情况。在这种情况下，可以直接去除重复的维度。 比如可以令$\mathbf{X}=\mathbf{k}\mathbf{Y}+\mathbf{d}$ 其中X的维度为3，$Y$的维度为2，并且均值为0，方差是2x2单位矩阵，k的维度为3x2。 易证${\mathbf{\Sigma }}_{\mathbf{X}}=\mathbf{k}{\mathbf{k}}^{\prime }$。 k的计算方法是把$\mathbf{\Sigma }$分解成下三角和上三角乘积，然后去除其中为0的行和列
  $\left(\begin{array}{rrr}2& 0& 0\\ 1& 0& 0\\ -1& 0& 3\end{array}\right)\left(\begin{array}{rrr}2& 1& -1\\ 0& 0& 0\\ 0& 0& 3\end{array}\right)=\left(\begin{array}{rr}2& 0\\ 1& 0\\ -1& 3\end{array}\right)\left(\begin{array}{llr}2& 1& -1\\ 0& 0& 3\end{array}\right)$

k和d可以成是一个仿射，把二维点映射到三维

在M步得到的
$\Lambda =\left({\sum }_{i=1}^m\left(x^{(i)}-\mu \right){\mathrm{E}}_{z^{(i)}\sim Q_i}\left[z^{(i{)}^T}\right]\right){\left({\sum }_{i=1}^m{\mathrm{E}}_{z^{(i)}\sim Q_i}\left[z^{(i)}{z}^{(i{)}^T}\right]\right)}^{-1}$ 和最小二乘法中的形式${\theta }^T=\left(y^{T}X\right){\left(X^{T}X\right)}^{-1}.$很像，原因是$\Lambda$也是$x-\mu$和$z$之间的线性系数。