李宏毅机器学习（4）

Classification

简介

定义：输入一个$x$，输出$x$属于哪一种类

• $x\Rightarrow Function\Rightarrow Classn$

应用场景：

• 金融：输入：存款、收入、职位、年龄……输出：贷款$or$拒绝。
• 医疗诊断：输入：症状、年龄、性别……输出：得了什么病。
• 手写识别：输入：图像。输出：是哪个字
• 人脸识别：输入：人脸图像。输出：是哪个人。
• 宝可梦识别：输入：物攻、特攻、生命、物防、特防……输出：这是哪个宝可梦。

不能用Regression做Classification，因为两者评价方法不一样。

一种解法

用类似贝叶斯公式的方法测算概率。
对training data求正态分布，然后用来预测。
$f_{\mu ,\Sigma }=\frac{1}{(2\pi {)}^{D/2}}\cdot \frac{1}{|\Sigma {|}^{1/2}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$
如何求$\mu$和$\Sigma$？
$L(\mu ,\Sigma )=f_{\mu ,\Sigma }(x^1)f_{\mu ,\Sigma }(x^2)...f_{\mu ,\Sigma }(x^m)$
要求$({\mu }^{\ast },{\Sigma }^{\ast })$使$L(\mu ,\Sigma )$最大，即：

• $({\mu }^{\ast },{\Sigma }^{\ast })=argma{x}_{\mu ,\Sigma }L(\mu ,\Sigma )$
• ${\mu }^{\ast }=\frac{1}{79}{\sum }_{n=1}^{79}{x}_n，{\Sigma }^{\ast }=\frac{1}{79}{\sum }_{n=1}79(x_n-{\mu }^{\ast })(x_n-{\mu }^{\ast }{)}^T$

然后就可以进行Classification：

• $P(C_1|x)=\frac{P(x|C_1)P(C_1)}{P(x|C_1)P(C_1)+P(x|C_2)P(C_2)},ifP(C_1|x)>0.5,thenxbelongstoclass1$

改进

不同的Class可以共用一组covariance(Σ)。原因：如果Σ太多，会导致参数太多，容易出现过拟合的情况。

找到${\mu }_1,{\mu }_2,\Sigma$来最大化$L({\mu }_1,{\mu }_2,\Sigma )$
$L({\mu }_1,{\mu }_2,\Sigma )=f_{{\mu }_1,\Sigma }(x_1)f_{{\mu }_1,\Sigma }(x_2)...f_{{\mu }_1,\Sigma }(x_{79})f_{{\mu }_2,\Sigma }(x_{80})f_{{\mu }_2,\Sigma }(x_{81})...f_{{\mu }_2,\Sigma }(x_{140})$
${\mu }_1,{\mu }_2$与之前一样，$\Sigma =\frac{79}{140}{\Sigma }_1+\frac{61}{140}{\Sigma }_2$

其他情况

很多情况下使用正态分布就可以了，但有时正态分布并不能满足需求，如：

$Binariyfeature$（二元特征），比如判断一个宝可梦是不是神兽。

如果假设所有dimensions都是独立的，这个方法叫做Naive Bayes Classifier。

Posterior Probability

$P(C_1|x)=\frac{P(x|C_1)P(C_1)}{P(x|C_1)P(C_1)+P(x|C_2)P(C_2)}=\frac{1}{1+\frac{P(x|C_2)P(C_2)}{P(x|C_1)P(C_1)}}=\sigma (z)$称此函数为$sigmoidfunction$
设$z=ln\frac{P(x|C_1)P(C_1)}{P(x|C_2)P(C_2)}$，$P(C_1|x)=\frac{1}{1+e^{-2}}$
$z=ln\frac{P(x|C_1)}{P(x|C_2)}+ln\frac{P(C_1)}{P(C_2)}=ln\frac{P(x|C_1)}{P(x|C_2)}+ln\frac{N_1}{N_2}$
$P(x|C_1)=\frac{1}{(2\pi {)}^{D/2}}\cdot \frac{1}{|{\Sigma }_1{|}^{1/2}}{e}^{-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }_1^{-1}(x-{\mu }_1)}$
$P(x|C_2)=\frac{1}{(2\pi {)}^{D/2}}\cdot \frac{1}{|{\Sigma }_2{|}^{1/2}}{e}^{-\frac{1}{2}(x-{\mu }_2{)}^T{\Sigma }_2^{-1}(x-{\mu }_2)}$
相除得到$ln\frac{|{\Sigma }_1{|}^{1/2}}{|{\Sigma }_2{|}^{1/2}}{e}^{-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }_1^{-1}(x-{\mu }_1)+\frac{1}{2}(x-{\mu }_2{)}^T{\Sigma }_2^{-1}(x-{\mu }_2)}$
但一般情况下，${\Sigma }_1={\Sigma }_2=\Sigma$。
所以$z=({\mu }_1-{\mu }_2{)}^T{\Sigma }^{-1}x-\frac{1}{2}{\mu }_1^T{\Sigma }_1^{-1}{\mu }_1+\frac{1}{2}{\mu }_2^T{\Sigma }_2^{-1}{\mu }_2+ln\frac{N_1}{N_2}=w^{T}x+b$
$P(C_1|x)=\sigma (w\cdot x+b)$

总结

In generative model,we estimate $N_1,N_2,{\mu }_1,{\mu }_2,\Sigma$,Then,we have $w$ and $b$.
但是，能否直接求出$w$和$b$呢？
请看下篇