分类(Classification):Probability Generative Model
1 Introduction
- 一些应用:Credit Scoring、Medical Diagnosis、Handwritten character recognition
- E.g. Pokemon Type Symbols
- Training data:
D={(xi,yi)}
,以二分类(binary classification)为例
- f(x)>0 :输出正类; f(x)<0 :输出负类
- L(f)=∑iI(f(xi)≠yi)
- Example:Perceptron,SVM
2 Generative Model
- P(C1|x)=P(x|C1)P(C1)P(x|C1)P(C1)+P(x|C2)P(C2)
生成模型Generative Model: P(x)=P(x|C1)P(C1)+P(x|C2)P(C2)
1 生成模型训练时优化训练数据的联合概率分布
2 将观察序列作为模型的一部分
3 训练复杂度较低
4 支持无监督训练
5 discriminative model判别模型估计条件概率分布,而生成模型估计联合概率分布
6 由生成模型可以得到判别模型,但是不能由判别模型得到生成模型生成算法尝试去找到底这个数据是怎么生成的(产生的),然后再对一个信号进行分类。基于你的生成假设,那么那个类别最有可能产生这个信号,这个信号就属于那个类别。判别模型不关心数据是怎么生成的,它只关心信号之间的差别,然后用差别来简单对给定的一个信号进行分类。
3 Maximum Likelihood
- Gaussian Distribution: fμ,∑(x)=1(2π)D/21|∑|1/2exp{−12(x−μ)T∑−1(x−μ)} ,其中 μ 是均值, ∑ 是协方差矩阵covariance matrix
- 极大似然估计: L(μ,∑)=∏ifμ,∑(xi)
- (μ∗,∑∗)=argminμ,∑L(μ,∑)
- 解法:微分之后求解, (μ∗,∑∗)=(1N∑Nixi,1N∑Ni(xi−μ∗)(xi−μ∗)T)
4 Probability Distribution
- ⎡⎣⎢⎢⎢x1x2...xk⎤⎦⎥⎥⎥←P(x|C1)=P(x1|C1)P(x2|C1)…P(xk|C1)
- Posterior Probability 后验概率: P(C1|x)=11+exp(−z)=σ(z) ,其中 z=lnP(x|C1)P(C1)P(x|C2)P(C2) , σ(z) 为sigmoid函数
- z=(μ1−μ2)T∑−1x−12(μ1)T(∑)−1μ1+12(μ2)T(∑)−1μ2+lnN1N2=wT+b ,假设 ∑1=∑2=∑
- P(C1|x)=σ(w⋅x+b)