机器学习小组知识点6:最大似然估计法(MLE)

为了照顾大家不同的基础，我只能写的不是很数学化，因此就用大家都能理解的东西。

最大似然估计中采样需满足一个很重要的假设，就是所有的采样都是独立同分布的。下面我们具体描述一下最大似然估计：
最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。简单而言，假设我们要统计全国人口的身高，首先假设这个身高服从服从正态分布，但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高，但是可以通过采样，获取部分人的身高，然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。
备注：
1. 什么是独立？独立所谓的就是不受其他的影响，例如：上例中的人的身高不能相互影响，当然你不能来硬的说，姚明的女儿个子肯定很高，怎么可能独立？这里我们要这样想，样本太大了，那么他们爷俩的影响微不足道，毕竟姚明跟你跟我关系不大，身高上几乎不影响。
2. 什么是同分布？这个现实生活中就是身高的样本来自于中国这个区域，来自同一个地域，所以分布应该可以认为是来自一个分布。说到底，用我统计的同学话说，他们就是用同一个样本：中国人民的身高。

最大似然估计

首先，假设$x_1,x_2,\cdots,x_n$为独立同分布的采样，$\theta$为模型参数，$f$为我们使用的模型，遵循上面的独立分布假设。参数为$\theta$的模型$f$产生的上述采样为

$$f(x_1,x_2,\cdots,x_n)=f(x_1|\theta)*f(x_2|\theta)*\cdots *f(x_n|\theta)$$
解释下为什么能这样乘？就是他们独立同分布！ 不影响，可以拆开。
这样模型就固定了，就是上式。回到上面所说的“模型固定，参数未知”说法，此时我们已知的为 x1,x2,⋯,x