模式分类（三）参数估计

介绍

参数估计：是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。
参数估计包括：点估计和区间估计。
常见点估计方法：矩估计、最小二乘估计、极大似然估计、贝叶斯估计

最大似然估计 Maximum-Likelihood

前提(似然与概率)

似然函数：
给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：L(θ|x)=P(X=x|θ)。
概率描述了已知参数时的随机变量的输出结果；
似然则用来描述已知随机变量输出结果时，未知参数的可能取值。

例子：（对比概率和似然）

1. 拿硬币这个例子来说，我们已知一枚均匀硬币的正反面概率分别是0.5，要预测抛两次硬币，硬币都朝上的概率：H代表Head，表示头朝上
   p(HH | pH = 0.5) = 0.5*0.5 = 0.25.

2. 现在我们已经抛了两次硬币，并且知道了结果是两次头朝上，这时候，我希望知道这枚硬币抛出去正面朝上的概率为0.5的概率是多少？正面朝上的概率为0.8的概率是多少？
   L(pH=0.5|HH) = P(HH|p