机器学习（李宏毅）lecture03 （classification）

分类

Training data

$(x^1,{\hat{y}}^1),(x^2,{\hat{y}}^2),...,(x^n,{\hat{y}}^n)$

Details

Model

损失函数（ Loss function）

$$L(f)=\sum _n\delta (f(x^n)̸={\hat{y}}^n)$$

要找到最好的model

例子（二分类）

（每一个不同的类有不同的分布（不常用））

求x在某类分布上的概率，>0.5,是该类，<0.5,不是。
高斯分布：

f μ , Σ ( x ) = 1 ( 2 π ) D 2 1 ∣ Σ ∣ 1 2 e x p { − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) f_{\mu,\Sigma}(x)=\frac{1}{{(2\pi)}^{\frac{D}{2}}}\frac{1}{|\Sigma|^\frac{1}{2}}exp\{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu) fμ,Σ​(x)=(2π)2D​1​∣Σ∣21​1​exp{−21​(x−μ)TΣ−1(x−μ)
$\mu :$均值
$\Sigma :$协方差矩阵
最大似然概率：
使事件发生的概率最大=>求${\mu }^{\ast },{\Sigma }^{\ast }$
似然函数：
$$L(\mu ,\Sigma )=f_{\mu ,\Sigma }(x^1)f_{\mu ,\Sigma }(x^2)...f_{\mu ,\Sigma }(x^n)$$
$${\mu }^{\ast },{\Sigma }^{\ast }=argma{x}_{\mu ,\Sigma }L(\mu ,\Sigma )$$
$${\mu }^{\ast }=\frac{1}{n}\sum _{i=1}^n{x}^i$$
$${\Sigma }^{\ast }=\frac{1}{n}\sum _{i=1}^n(x^i-{\mu }^{\ast })(x^i-{\mu }^{\ast }{)}^T$$

共用协方差矩阵

共用协方差矩阵能够减少模型参数。
${\mu }^1,{\mu }^2,\Sigma$的计算方法为：

似然函数：
$$L({\mu }^1,{\mu }^2,\Sigma )=f_{{\mu }^1,\Sigma }(x^1)f_{{\mu }^1,\Sigma }(x^2)...f_{{\mu }^1,\Sigma }(x^{n_1})\times f_{{\mu }^2,\Sigma }(x^1)f_{{\mu }^2,\Sigma }(x^2)...f_{{\mu }^2,\Sigma }(x^{n_2})$$

${\mu }^1,{\mu }^2:$和之前一样:$${\mu }^1=\frac{1}{n_1}\sum _{i=1}^n{x}^i$$
$${\mu }^{\ast }=\frac{1}{n_2}\sum _{i=1}^n{x}^i$$
$\Sigma :$
$$\Sigma =\frac{n_1}{n_1+n_2}{\Sigma }^1+\frac{n_2}{n_1+n_2}{\Sigma }^2$$

概率分布

可以自己选择合适的概率分布。