机器学习中的参数估计

1 极大似然估计

1.1 极大似然估计基本概念
对于极大似然函数的理解，可以从一个最简单的例子开始。一位老猎人和一位打猎新手一起外出打猎，一只野兔从眼前窜过，只听得一声枪响，兔子应声而倒。现在请问兔子是被谁打中的？大多数人的答案会是老猎人，因为老猎人最有可能打中兔子。
这种猜测背后所体现的原理就是极大似然估计。极大似然估计的数学原理表述为：
假设一组样本$S={(X_1,X_2,...,X_n)}$是由参数 $\theta$确定的概率分布模型$P(x:\theta)$独立的生成的。对于参数$\theta$的最大似然估计被定义为：

$$\begin{equation} \begin{aligned} \theta_{ml}&=\displaystyle\arg_{\theta} max P_{model}(S;\theta)\\ &=\displaystyle\arg_{\theta}max\prod_{i=0}^nP_{model}(x^{(i)};\theta) \end{aligned} \end{equation}$$
为了便于计算，我们常常采用似然函数的对数形式：
$$\theta_{ml}=arg_{\theta}max\sum_{i=1}^mlogP_{model}(X^{(i)};\theta)$$ 总之,极大似然估计就是要找到能够是的目前所有样本出现概率最大的参数 $\theta$的估计值。
1.2 条件对数似然
最大似然估计扩展到估计条件概率 $P(y|X;\theta)$从而给定 $X$ 预测 $y$。这z种最常见的情况构成了大多数监督学习的基础。如果 $X$ 表示所有的输入,$Y$表示我们观测到的目标,那么条件最大似然估计是 :
$$\theta_{ml}=arg_{\theta}max\sum_{i=1}^nlogP(y^{(i)}| x^{(i)};\theta)$$
1.3 极大似然函数推到线性回归：
我们希望学习到一个条件概率分布： $P(y|x)$,而不是一个单独的预测 $\hat{y}$。现在学习目标是拟合条件概率分布 $P(y|x)$。我们定义 P(y|x)=