分类
Training data
( x 1 , y ^ 1 ) , ( x 2 , y ^ 2 ) , . . . , ( x n , y ^ n ) (x^1,\widehat{y}^1),(x^2,\widehat{y}^2),...,(x^n,\widehat{y}^n) (x1,y 1),(x2,y 2),...,(xn,y n)
Details
Model
损失函数( Loss function)
L ( f ) = ∑ n δ ( f ( x n ) ≠ y ^ n ) L(f)=\sum_n\delta(f(x^n)\neq\widehat{y}^n) L(f)=n∑δ(f(xn)̸=y n)
要找到最好的model
例子(二分类)
(每一个不同的类有不同的分布(不常用))
求x在某类分布上的概率,>0.5,是该类,<0.5,不是。
高斯分布:
f
μ
,
Σ
(
x
)
=
1
(
2
π
)
D
2
1
∣
Σ
∣
1
2
e
x
p
{
−
1
2
(
x
−
μ
)
T
Σ
−
1
(
x
−
μ
)
f_{\mu,\Sigma}(x)=\frac{1}{{(2\pi)}^{\frac{D}{2}}}\frac{1}{|\Sigma|^\frac{1}{2}}exp\{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)
fμ,Σ(x)=(2π)2D1∣Σ∣211exp{−21(x−μ)TΣ−1(x−μ)
μ
:
\mu:
μ:均值
Σ
:
\Sigma:
Σ:协方差矩阵
最大似然概率:
使事件发生的概率最大=>求
μ
∗
,
Σ
∗
\mu^*,\Sigma^*
μ∗,Σ∗
似然函数:
L
(
μ
,
Σ
)
=
f
μ
,
Σ
(
x
1
)
f
μ
,
Σ
(
x
2
)
.
.
.
f
μ
,
Σ
(
x
n
)
L(\mu,\Sigma)=f_{\mu,\Sigma}(x^1)f_{\mu,\Sigma}(x^2)...f_{\mu,\Sigma}(x^n)
L(μ,Σ)=fμ,Σ(x1)fμ,Σ(x2)...fμ,Σ(xn)
μ
∗
,
Σ
∗
=
a
r
g
m
a
x
μ
,
Σ
L
(
μ
,
Σ
)
\mu^*,\Sigma^*=argmax_{\mu,\Sigma}L(\mu,\Sigma)
μ∗,Σ∗=argmaxμ,ΣL(μ,Σ)
μ
∗
=
1
n
∑
i
=
1
n
x
i
\mu^*=\frac{1}{n}\sum_{i=1}^nx^i
μ∗=n1i=1∑nxi
Σ
∗
=
1
n
∑
i
=
1
n
(
x
i
−
μ
∗
)
(
x
i
−
μ
∗
)
T
\Sigma^*=\frac{1}{n}\sum_{i=1}^n(x^i-\mu^*)(x^i-\mu^*)^T
Σ∗=n1i=1∑n(xi−μ∗)(xi−μ∗)T
共用协方差矩阵
共用协方差矩阵能够减少模型参数。
μ
1
,
μ
2
,
Σ
\mu^1,\mu^2,\Sigma
μ1,μ2,Σ的计算方法为:
似然函数:
L
(
μ
1
,
μ
2
,
Σ
)
=
f
μ
1
,
Σ
(
x
1
)
f
μ
1
,
Σ
(
x
2
)
.
.
.
f
μ
1
,
Σ
(
x
n
1
)
×
f
μ
2
,
Σ
(
x
1
)
f
μ
2
,
Σ
(
x
2
)
.
.
.
f
μ
2
,
Σ
(
x
n
2
)
L(\mu^1,\mu^2,\Sigma)=f_{\mu^1,\Sigma}(x^1)f_{\mu^1,\Sigma}(x^2)...f_{\mu^1,\Sigma}(x^{n_1}){\times}f_{\mu^2,\Sigma}(x^1)f_{\mu^2,\Sigma}(x^2)...f_{\mu^2,\Sigma}(x^{n_2})
L(μ1,μ2,Σ)=fμ1,Σ(x1)fμ1,Σ(x2)...fμ1,Σ(xn1)×fμ2,Σ(x1)fμ2,Σ(x2)...fμ2,Σ(xn2)
μ
1
,
μ
2
:
\mu^1,\mu^2:
μ1,μ2:和之前一样:
μ
1
=
1
n
1
∑
i
=
1
n
x
i
\mu^1=\frac{1}{n_1}\sum_{i=1}^nx^i
μ1=n11i=1∑nxi
μ
∗
=
1
n
2
∑
i
=
1
n
x
i
\mu^*=\frac{1}{n_2}\sum_{i=1}^nx^i
μ∗=n21i=1∑nxi
Σ
:
\Sigma:
Σ:
Σ
=
n
1
n
1
+
n
2
Σ
1
+
n
2
n
1
+
n
2
Σ
2
\Sigma=\frac{n_1}{n_1+n_2}\Sigma^1+\frac{n_2}{n_1+n_2}\Sigma^2
Σ=n1+n2n1Σ1+n1+n2n2Σ2
概率分布
可以自己选择合适的概率分布。