概率
对概率 p ( x ∣ w ) p(x|w) p(x∣w)是描述固定参数w时,随机变量x的分布情况。
极大似然函数
对于L(θ|x)=f(x|θ)这个等式表示的是对于事件发生的两种角度的看法。其实等式两遍都是表示的这个事件发生的概率或者说可能性。再给定一个样本x后,我们去想这个样本出现的可能性到底是多大。统计学的观点始终是认为样本的出现是基于一个分布的。那么我们去假设这个分布为f,里面有参数theta。对于不同的theta,样本的分布不一样。f(x|θ)表示的就是在给定参数theta的情况下,x出现的可能性多大。L(θ|x)表示的是在给定样本x的时候,哪个参数theta使得x出现的可能性最大。
例子
对于投硬币来说,我们已知概率正反面分别为0.5,那么假设投硬币投10次那么概率
p
(
x
1
,
x
2
,
.
.
.
.
.
x
10
∣
p
=
0.5
)
=
1
1024
p(x_1,x_2,.....x_{10}|p=0.5)=\frac{1}{1024}
p(x1,x2,.....x10∣p=0.5)=10241,这是对于概率来说的。
那么对于极大似然函数来说,我们知道结果满足伯努利分布,假设具体的p值我们不知道,我们只知道从该分布取样得到的
PPNNPNPPPP的一组样本,p代表正面,N代表反面,因为我们只知道这组样本,那么极大似然的思想就是求得使这组样本得到概率最大的对应的p。那么L(θ|x)=f(x|θ)=p*p*(1-p)*(1-p)*p*(1-p)*p*p*p*p=
p
7
(
1
−
p
)
3
p^7(1-p)3
p7(1−p)3,对于这个例子来说p=0.5的时候,概率等于
1
1024
\frac{1}{1024}
10241,但是这个时候概率有更大的值,已知当p=0.7的时候概率最大。但是要知道,我们只取了一组样本,当样本足够大的时候,可以得出p=0.5的时候,概率最大,这与上文我们已知p=0.5一致。