统计学基础知识note

如何理解似然函数L(θ|D)

1.在学术上,通常用θ表示模型中的参数,用D表示数据.则参数的似然函数记为L(θ|D)=f(D|θ).值得注意的是,等式右边的P表示条件概率,等式左边的L虽然形式与右边相似,但不表示条件概率.

2.一种方便区别是概率还是似然的方法是，根据定义，"谁谁谁的概率"中谁谁谁只能是概率空间中的事件，换句话说，我们只能说，事件(发生)的概率是多少多少(因为事件具有概率结构从而刻画随机性，所以才能谈概率)；而"谁谁谁的似然"中的谁谁谁只能是参数，比如说，参数等于 时的似然是多少.

3.L(θ|x)=f(x|θ)
这个等式表示的是对于事件发生的两种角度的看法。其实等式两遍都是表示的这个事件发生的概率或者说可能性。再给定一个样本x后，我们去想这个样本出现的可能性到底是多大。统计学的观点始终是认为样本的出现是基于一个分布的。那么我们去假设这个分布为f，里面有参数theta。对于不同的theta，样本的分布不一样。f(x|θ)表示的就是在给定参数theta的情况下，x出现的可能性多大。L(θ|x)表示的是在给定样本x的时候，哪个参数theta使得x出现的可能性多大。所以其实这个等式要表示的核心意思都是在给一个theta和一个样本x的时候，整个事件发生的可能性多大。