高斯拟合原理_多元高斯分布与高斯判别分析模型

本篇为CS229 Lecture5的笔记。上一章笔记见监督学习与线性模型

重点参考：

• 浅谈「正定矩阵」和「半正定矩阵」
• 高斯判别分析
• 矩阵求导术（上）

目录

• 矩阵知识回顾
• 概率知识回顾
• 多元正态(高斯)分布
• 判别模型VS生成模型
• 高斯判别分析模型(GDA)的推导
• logistic回归的鲁棒性

矩阵知识回顾

1. 表示方阵
   的逆，该逆满足条件：
2. 并非所有矩阵都存在逆：根据定义，非方阵不存在逆；此外一部分特殊的方阵也存在逆不存在的情况
3. 对于矩阵
   ，若
   存在，则称
   为可逆的或者非奇异的；若
   不存在，则称
   为不可逆的或者奇异的
4. 矩阵是否满秩是判断矩阵是否可逆的充分必要条件，满秩时矩阵可逆，反之亦然
5. 正定矩阵和负定矩阵总是满秩的，即它们总是可逆的
6. 半正定矩阵是正定矩阵的推广，半正定矩阵的行列式是非负的（与之对应的，正定矩阵的行列式恒大于零）
7. ^[1]
8. ^[1]

概率知识回顾

1. 随机变量
   的期望
   又被称为随机变量的均值
2. 随机变量
   的方差被用于度量该变量在变量均值周围的分布情况，随机变量
   方差
   定义为
3. 对于任意常数
   ，有
   ，
4. 对方差的表达式进行化简：
   ，将展开式中的
   视为常数，根据上一条提到的性质继续化简得：
5. 推及到二元随机变量的情况：协方差^[2]被用于度量两个变量的总体误差，定义为
   ，而方差是协方差的一种特殊情况，即两个变量相同的情况
6. 对协方差的定义进行化简可得
   ；若随机变量
   与
   互为统计独立的，则
   ，随机变量
   之间的协方差为0
7. 推及到多元随机变量的情况：将多元随机变量写成向量的形式
   ，对于多元随机变量向量
   ，其期望
   ；将向量
   推广至矩阵形式
   ，该矩阵的期望
8. 对于多元随机变量向量
   ，它的协方差矩阵
   为
   的方阵，其
   位置的元素为
   ，协方差矩阵的完整形式为：
   ；协方差矩阵这个概念是对于标量随机变量方差的一般化推广
   ^[3]
9. 根据协方差的定义以及上面提及矩阵期望的性质，对协方差矩阵进行化简，
   ，从最终的化简结果也能看出，不论是方差、协方差还是协方差矩阵，它们之间都存在着优美的一致性
10. 多元随机变量的协方差矩阵总是半正定的^[4]：给定任意能使
    成立的
    ，
    ，将向量