6 生成模型 机器学习基础理论入门

6 生成模型 机器学习基础理论入门

6.1 概率论基础快速回顾

概率的性质

减法性质：P(A-B)=P(A)-P(AB)
加法性质：P(A+B)=P(A)+P(B)-P(AB)

条件概率和概率的基本公式

条件概率
事件A发生的条件下，事件B发生的条件概率，记为P(B|A)，且：
P(B|A)=P(AB)/P(A)
三个基本公式
乘法公式：P(AB)=P(A)P(B|A)
全概率公式：

贝叶斯公式：

思考题
设某公路上经过的货车和客车的数量之比为2：1，货车中途停车修理的概率为0.02，客车为0.01，今有一辆车中途停车修理，求该车是货车的概率？
解：设车为A，中途停车修理事件为B
P(A|B)=(0.02*(2/3))/(0.02*(2/3)+0.01*(1/3))=0.8

6.2 条件概率与分类

问题引入

现有一组银行客户数据，需要根据这些数据来判断某个客户是否信用良好。

问题抽象和基本假设

问题抽象
（1） 二分类问题（记C0为信用好，C1为信用不好）
（2） 监督学习问题（数据中包含了正确的类标签）
（3） 记每个客户的特征向量为x，客户所属的类标签为C
基本假设

贝叶斯公式的拓展

后验=（先验 * 似然值）/证据

使用贝叶斯公式进行分类

6.3 判别式函数

损失和风险

损失
做出一个决策会带来一定的损失（银行判断客户的信用等级作为是否发放贷款的依据，高风险用户判断成低风险用户的损失要比低风险用户判断成高风险用户的损失来的大）

风险

选择期望风险最小的决策

0-1损失

选择后验概率最大的类作为结果，其风险损失最小，与之前的结论一致。这个推论的前提是使用0-1损失，如果是其他形式的损失，那么风险计算公式也不同。实际中最常用的是0-1损失评估风险。

判别式函数

使用风险定义判别式函数

风险函数越小，意味着风险越小，带入风险函数并忽略常数项可得判别式函数等于后验概率，通过贝叶斯公式可知最后判别式函数等于类似然函数乘以先验概率。

二分类

二分类问题可以简化，定义单个判别式函数g(x)=g1(x)-g2(x)

6.4 极大似然估计快速回顾

问题描述

解决思路

（1） 假设一个合理的数据分布
（2） 计算样本似然值
（3） 求出让样本似然值最大的参数

局限性

（1） 需要事先假定数据分布
（2） 假设的数据分布和真实的数据分布不一致容易导致较大的误差

6.5 多元数据的数字特征

特征向量可认为是多元数据

数据矩阵

均值向量

均值向量μ的每个元素都是数据矩阵X对应的列的均值

协方差

（1） 协方差一定程度上描述了两个变量之间的相关性
（2） 两个随机变量X和Y的协方差：

协方差性质

协方差局限性
协方差的计算受到两个变量计量单位的影响

协方差矩阵

基本假设

将所有的协方差放入m * m的矩阵，得到协方差矩阵：

相关性系数

解决协方差的局限性，即变量计量单位的影响

6.6 多元分类

基本假设

假设依据：
（1）多元正态分布分析起来较为简单
（2）正态分布是很多自然现象的通用模型。

多元分类的判别式函数

综上可知，对于类似然函数是正态分布的分类问题，每个类的判别式函数是二次函数。

问题的化简

特殊情况：

6.7 多元正态分布

多元正态分布公式
x时一个d维随机变量，若x满足多元正态分布，那么：

二元正态分布