机器学习(二)概率密度估计之参数估计
2018/2/19
by ChenjingDing
概率密度估计总体上可分为两种方法,参数估计和非参数估计的方法。
一.参数估计
假设随机变量服从不同的分布,则可以求取该分布概率密度函数的参数。频率学派认为该参数是固定的,因此产生了最大似然估计。而贝叶斯学派认为该参数也是随机变量,产生了贝叶斯学习的方法。
1.1最大似然估计
*1.1.1最大似然估计的基本原理
目标函数:
找到参数
θ
θ
使得样本x出现的概率最大。即:
θ=argmaxθp(x|θ)
θ
=
a
r
g
m
a
x
θ
p
(
x
|
θ
)
利用导数求极值:
1.1.2高斯分布的最大似然估计
假设随机变量X服从一维高斯分布,样本
x=(x1,x2...xn−1,xn)
x
=
(
x
1
,
x
2
.
.
.
x
n
−
1
,
x
n
)
,则参数
θ=(μ,σ)
θ
=
(
μ
,
σ
)
。
先求
μˆ
μ
^
:
∂E(θ)∂θ=−∑ni=1−2(xi−μˆ)2σ2=1σ2[∑ni=1xi−nμˆ]=0
∂
E
(
θ
)
∂
θ
=
−
∑
i
=
1
n
−
2
(
x
i
−
μ
^
)
2
σ
2
=
1
σ
2
[
∑
i
=
1
n
x
i
−
n
μ
^
]
=
0
;
μˆ μ ^ 是无偏估计:
1. D(X)=E(X2)−E(X)2 D ( X ) = E ( X 2 ) − E ( X ) 2 ;
2. D(μˆ)=D(1n∑ni=1xi)=1n2D(∑ni=1xi)=1n2∑ni=1D(xi)(样本之间独立同分布)=σn; D ( μ ^ ) = D ( 1 n ∑ i = 1 n x i ) = 1 n 2 D ( ∑ i = 1 n x i ) = 1 n 2 ∑ i = 1 n D ( x i ) ( 样 本 之 间 独 立 同 分 布 ) = σ n ;
所以,需要修改 σˆ2 σ ^ 2 ,使得
1.2贝叶斯学习
1.2.1 贝叶斯学习估计参数
暂时跳过。
*1.2.2 贝叶斯学习预测
x是已知样本。
xˆ
x
^
是需要被预测的数据,即另一个未知的样本数据, 样本之间相互独立同分布。
考完试,再来系统更新这部分,了解更多:
https://www.youtube.com/watch?v=Vd_gKry3h4s (贝叶斯学习)
https://www.youtube.com/watch?v=ZL5cv1FiFn4 ( 贝叶斯预测)
https://www.youtube.com/playlist?list=PLFDbGp5YzjqXQ4oE4w9GVWdiokWB9gEpm(系统学习贝叶斯学习)