李宏毅机器学习——分类

分类

信用评分——是否借款
医疗诊断——什么病
字迹识别——什么字
人脸识别——什么人

How

用回归来分类？不合适，离群点会影响回归结果

分类的角度应该是绿色线为分界，用回归的准则为了减小误差会得到紫色线

Generative Model

Pokemon例子：

训练集：79water，61normal
$P(C_1)=0.56,P(C_2)=0.44$

高斯分布
$$f_{\mu ,\Sigma }(x)=\frac{1}{(2\pi {)}^{D/2}}\frac{1}{|\Sigma {|}^{1/2}}\exp \left\{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\right\}$$

根据数据估计均值和协方差，构造高斯分布，极大似然估计
算出$${\mu }^{\ast },{\Sigma }^{\ast }=\arg \underset{\mu ,\Sigma }{\max }L(\mu ,\Sigma )$$ $${\mu }^{\ast }=\frac{1}{79}\sum _{n=1}^{79}{x}^n{\Sigma }^{\ast }=\frac{1}{79}\sum _{n=1}^{79}\left(x^n-{\mu }^{\ast }\right){\left(x^n-{\mu }^{\ast }\right)}^T$$

再将新的点 $x$ 带入
Probability from Class:
$P(x|C_1)$ $$P\left(C_1|x\right)=\frac{P\left(x|C_1\right)P\left(C_1\right)}{P\left(x|C_1\right)P\left(C_1\right)+P\left(x|C_2\right)P\left(C_2\right)}$$

模型修正：共用相同的协方差矩阵（加权一下），减小模型参数，减小过拟合
此时的最大似然函数为$$L\left({\mu }^1,{\mu }^2,\Sigma \right)$$ 均值和之前一样，协方差加权$${\mu }^1\text{ and }{\mu }^2\text{ is the same }\Sigma =\frac{79}{140}{\Sigma }^1+\frac{61}{140}{\Sigma }^2$$结果变成了线性模型

总结

三步法：

1. 模型（概率分布）
2. 评价——寻找均值和协方差使得最大化likelihood
3. Find the best function
   某个样本的各个特征（dimension）都是独立的，就是朴素贝叶斯
   后验概率$$P\left(C_1|x\right)=\sigma (z)$$ $$\begin{array}{rl}z=& \ln \frac{{\left|{\Sigma }^2\right|}^{1/2}}{{\left|{\Sigma }^1\right|}^{1/2}}-\frac{1}{2}{x}^T{\left({\Sigma }^1\right)}^{-1}x+{\left({\mu }^1\right)}^T{\left({\Sigma }^1\right)}^{-1}x-\frac{1}{2}{\left({\mu }^1\right)}^T{\left({\Sigma }^1\right)}^{-1}{\mu }^1\\ & +\frac{1}{2}{x}^T{\left({\Sigma }^2\right)}^{-1}x-{\left({\mu }^2\right)}^T{\left({\Sigma }^2\right)}^{-1}x+\frac{1}{2}{\left({\mu }^2\right)}^T{\left({\Sigma }^2\right)}^{-1}{\mu }^2+\ln \frac{N_1}{N_2}\end{array}$$
   当协方差矩阵一致时 $$z={\frac{{\left({\mu }^1-{\mu }^2\right)}^T{\Sigma }^{-1}}{w^T}}^T\frac{-\frac{1}{2}{\left({\mu }^1\right)}^T{\left({\Sigma }^1\right)}^{-1}{\mu }^1+\frac{1}{2}{\left({\mu }^2\right)}^T{\left({\Sigma }^2\right)}^{-1}{\mu }^2+\ln \frac{N_1}{N_2}}{\mathrm{b}}$$ 即$$P\left(C_1|x\right)=\sigma (w\cdot x+b)$$
   由此引出了罗基斯特回归