分类（Classification）：Probability Generative Model

分类（Classification）：Probability Generative Model

---

1 Introduction

• 一些应用：Credit Scoring、Medical Diagnosis、Handwritten character recognition
• E.g. Pokemon Type Symbols
• Training data：$D=\{(x_i,y_i)\}$，以二分类（binary classification）为例
  
  • $f(x)>0$：输出正类；$f(x)<0$：输出负类
  • $L(f) = \sum \limits_{i}I(f(x_i) \not= y_i)$
  • Example：Perceptron，SVM

---

2 Generative Model

• $P(C_1|x) = \frac{P(x|C_1)P(C_1)}{P(x|C_1)P(C_1)+P(x|C_2)P(C_2)}$

• 生成模型Generative Model：$P(x) = P(x|C_1)P(C_1)+P(x|C_2)P(C_2)$
  1 生成模型训练时优化训练数据的联合概率分布
  2 将观察序列作为模型的一部分
  3 训练复杂度较低
  4 支持无监督训练
  5 discriminative model判别模型估计条件概率分布，而生成模型估计联合概率分布
  6 由生成模型可以得到判别模型，但是不能由判别模型得到生成模型

    生成算法尝试去找到底这个数据是怎么生成的（产生的），然后再对一个信号进行分类。基于你的生成假设，那么那个类别最有可能产生这个信号，这个信号就属于那个类别。判别模型不关心数据是怎么生成的，它只关心信号之间的差别，然后用差别来简单对给定的一个信号进行分类。

---

3 Maximum Likelihood

• Gaussian Distribution：$f_{\mu,\sum}(x) = \frac{1}{(2\pi)^{D/2}}\frac{1}{|\sum|^{1/2}} exp\{ -\frac{1}{2}(x-\mu)^T\sum^{-1}(x-\mu) \}$，其中$\mu$是均值，$\sum$是协方差矩阵covariance matrix
• 极大似然估计：$L(\mu,\sum) = \prod\limits_i f_{\mu,\sum}(x_i)$
• $(\mu^*,\sum^*) = \mathop{argmin}\limits_{\mu,\sum} L(\mu,\sum)$
• 解法：微分之后求解，$(\mu^*,\sum^*) = (\frac{1}{N}\sum_i^Nx_i, \frac{1}{N}\sum_i^N(x_i-\mu^*)(x_i-\mu^*)^T)$

---

4 Probability Distribution

• $\left[ \begin{matrix} x_1\\ x_2\\ ...\\ x_k \end{matrix} \right]\leftarrow P(x|C_1)=P(x_1|C_1)P(x_2|C_1)…P(x_k|C_1)$
• Posterior Probability 后验概率：$P(C_1|x) = \frac{1}{1+exp(-z)} = \sigma(z)$，其中$z = ln\frac{P(x|C_1)P(C_1)}{P(x|C_2)P(C_2)}$，$\sigma(z)$为sigmoid函数
• $z = (\mu_1-\mu_2)^T\sum^{-1}x-\frac{1}{2}(\mu_1)^T(\sum)^{-1}\mu_1+\frac{1}{2}(\mu_2)^T(\sum)^{-1}\mu_2+ln\frac{N_1}{N_2} = w^T + b$，假设$\sum_1=\sum_2=\sum$
• $P(C_1|x) = \sigma(w\cdot x+b)$

---