白板机器学习笔记 P3-P8 高斯分布

视频地址： https://www.bilibili.com/video/BV1aE411o7qd?p=3
笔记地址：https://www.yuque.com/books/share/f4031f65-70c1-4909-ba01-c47c31398466/hu0291

P3 高斯分布1-极大似然估计

高斯分布：

本节内容：假设模型分布就是高斯分布，对高斯分布的均值和方差进行了极大似然估计。参数估计的前提是：样本符合独立同分布，也即每个样本都是独立地从一个高斯分布中进行采样的，所以训练集整体发生的概率就可以表示成每个样本的高斯概率密度函数连乘的形式，然后对模型参数求偏导即可。

对均值、方差的极大似然估计结果：

P4 高斯分布2-极大似然估计值 有偏和无偏

有偏和无偏的定义：对上边参数估计出的均值和方差求期望，如果期望的值仍等于原始的均值和方差，则估计无偏，否则有偏。
是否有偏的推导：注意上一部分极大似然出的μ_MLE和σ_MLE不能认为等于原始的μ和σ，我们还在推导的过程中，要建立起这两个估计值和原始均值、方差的关系。①第一部分的E(μ_MLE)=μ推导比较简单，记住这个结论，我们在下边推导E(σ²_MLE)时要用到。 ②方差期望的推导首先要用到E[(x_i-μ)²]=E(x_i²-2x_iμ+μ²)，这里μ是一个常数，所以第二项E(-2x_iμ)=-2μE(x_i)=-2μ²，所以之前式子可以化为E[(x_i-μ)²]=E(x_i²)-μ²，也可以表示为E[(x_i-μ)²]=E(x_i²)-E(x_i)²。其次，求E(σ²_MLE)的过程中，先减去μ²再加上μ²的原因是：我们说了，无偏的证明本来就是建立起估计值μ_MLE和原始值μ之间的关系。分解出的两个式子刚好都是E[(x_i-μ)²]=E(x_i²)-E(x_i)²，其中x_i的均值就是μ，μ_MLE的均值也是μ（由前边算μ_MLE的期望得到），所以刚好化成了两个方差Var(x_i)和Var(μ_MLE)。最终证明高斯分布的无偏估计为：

P5 高斯分布3-从概率密度角度观察

本节内容：主要对高斯分布的指数部分进行了分析，把协方差矩阵进行特征分解后，重新组合成椭圆函数的形式，帮助我们理解为什么其横切面是一组椭圆等高线。

一个结论：协方差矩阵 C 是一个是对称矩阵，在线性代数中实对称矩阵有一系列非常好的性质： ①实对称矩阵不同特征值对应的特征向量必然正交。 ②设特征向量 λ 重数为 r，则必然存在 r 个线性无关的特征向量对应于 λ，因此可以将这 r 个特征向量单位正交化。由上面两条可知，一个 n 维的实对称矩阵一定可以找到 n 个单位正交特征向量，也即实对称矩阵 A 一定可以表示成相似对角化的形式A=Q^-1BQ，且其中Q为正交矩阵，Q^T=Q^-1或者QQ^T=I（证明比较复杂，可以上知乎看一下）。

知识一：对任意矩阵而言，同一特征值 λ 对应的特征向量(α₁,α₂,α₃,α₄,…)的线性组合(k₁α₁+k₂α₂+k₃α₃+…)仍是该特征值 λ 的特征向量。只用左乘矩阵A，然后把 λ 提出来即可证明：A(k₁α₁+k₂α₂+k₃α₃+…)=λ(k₁α₁+k₂α₂+k₃α₃+…)。因为同一特征值对应的多个特征向量可以相互组合消减，所以结论一说明同一特征值对应的多个线性无关的特征向量总能被处理成一组正交向量。

施密特正交化的几何意义：（通过对前n-1维基构成的子空间进行投影，可以求得第n维正交基，从第二维开始循环这样做，从而把一组线性无关基处理成正交基）
https://www.zhihu.com/question/60689540

知识二：协方差矩阵一定是实对称矩阵，实对称矩阵不同特征值对应的特征向量一定正交；

实对称矩阵不同特征值对应的特征向量一定正交
https://zhidao.baidu.com/question/208407895.html

知识三：协方差矩阵一定是半正定矩阵。

协方差矩阵一定是半正定矩阵
https://blog.csdn.net/qcyfred/article/details/71598815

知识四：最后化简出的y_i=(x-μ)^Tu_i是一个数，表示(x-μ)在特征向量u_i上投影的长度。

知识五：马氏距离

P6 高斯分布4-局限性
局限性：
①参数过多。O(n²)
②不能表示复杂数据分布，可以用混合高斯模型。

P7 高斯分布5-求边缘概率和条件概率

本节内容：将变量X分块为(X_a X_b)^T后，协方差矩阵也对应变成分块矩阵。这时计算边缘概率P(X_a)和条件概率P(X_b|X_a)。

主要依据如下定理进行推导：

计算边缘概率P(X_a)时直接写成分块矩阵乘法的形式，求均值和方差只对变量X_a和X_b操作即可。计算条件概率P(X_b|X_a)使用了构造构造法，还可以参考《PRML》书中的配方法。

P8 高斯分布6-联合概率
用到了再来看吧