参数估计：MLE，MAP，Naive Bayes Classification

1. 统计学学派

统计学不同的学派对概率的理解和解释不同，也影响着对统计问题的看法和处理。统计学中比较中要的三个学派为：

• 经典学派：经典学派认为概率就是长期试验中频率稳定性所反映的真值，坚持用频率的现象去解释概率所陈述的命题，所以也称为频率学派。它认为概率时客观的，是事物的一种属性。
• 贝叶斯学派：贝叶斯学派认为概率不能只用频率的稳定性来解释和理解。贝叶斯学派认为概率也反映了人们对某些事务认识的不确定性的程度，可以由人的经验，知识来做出判断，不需要借助频率的稳定性。
• 信念学派：坚持概率是频率稳定性的观点，这和经典学派是一致的。但是对统计方法所做出判断，不能用概率来描述，因为这个判断涉及到人对事物的认识，它是一种信念，所以Fisher把统计推断看成是信念推断，信念不同于概率。

不同学派对概率的不同理解，也导致了对统计问题的不同理解：

• 经典学派：认为要估计或检验的对象是客观存在的，样本是随机的，因此样本的函数——统计量是随机的，随机样本抽取的好，统计量就接近客观存在的真实统计量值。
• 贝叶斯学派：认为观察到样本之后，样本是已经确定的常数，不了解的是参数空间的状况，因此统计理论的重点应该放在参数空间（或总体分布所处的状态空间）。着重研究的是观察样本前后，人们对参数认识的改变。 先验分布反映人们未做统计实验时对总体的认识，后验分布反映人们已知统计实验结果后，对于总体的认识。

经典学派和贝叶斯学派对统计问题的不同认识衍生出了三种不同的建模思路：MLE，MAP和 Bayesian 。

2. 贝叶斯公式

贝叶斯公式：
$$p(\theta |D)=\frac{p(D|\theta )p(\theta )}{p(D)}$$其中：

• $p(D|\theta )$为似然函数，表示模型参数中的似然性。给定输出x时，关于参数$\theta$的似然函数$L(\theta |x)$（在数值上）等于给定参数$\theta (p(\theta )=1)$后变量X的概率：$L(\theta |x)=P(X=x|\theta )$
• $p(\theta )$为先验概率
• $p(\theta |D)$为后验概率

3. MLE

最大化似然函数（Maximum Likelihood Estimation, MLE）是经典学派参数估计的方法。MLE的主要思想是，学习参数$\theta$来最大化我们观测到的数据。

3.1 MLE估计伯努利分布参数

假设我们连续抛了$n$次硬币，实验数据 D = { X i } i = 1 n ， X i ∈ { H , T } D=\{X_i\}_{i=1}^n，X_i \in \{H,T\} D={Xi​}i=1n​，Xi​∈{H,T}，需要估计抛一枚硬币头投朝上的概率$p(y=H)$。此时只要计算10次试验中头朝上的频数与总的实验频数的比就可以了，即$p(y=H)=\frac{N_H}{N_H+N_T}$，这就是MLE的做法。

假设$p(y=H)\sim B(\theta )$，即$p(y=head)$服从参数为$\theta$的伯努利分布，则：$$p(y=H)=\theta$$$$p(y=T)=1-\theta$$ 此时$\theta$的似然函数为：
$$L(\theta |D)=P(D|\theta )=\prod _{i=1}^{n}p(x_i|\theta )$$ ${\theta }^{\ast }$为最大化似然函数时的值（头朝上时$x_i=1$，否则$x_i=0$）：
$${\theta }^{\ast }=argma{x}_{\theta }\prod _{i=1}^{n}p(x_i|\theta )$$ $$=\prod _{i=1}^n{\theta }^{x_i}(1-\theta {)}^{(1-x_i)}$$ $$={\theta }^{N_H}{\theta }^{N_T}$$ 其中$N_H$样本中头朝上的次数，而$N_T$为尾朝上的次数。对目标函数$J(\theta )={\theta }^{N_H}{\theta }^{N_T}$求导，令其导数为0，求极大值：
$$\frac{\partial J(\theta )}{\partial \theta }=N_H{\theta }^{N_H-1}(1-{\theta }^{N_T})-N_T{\theta }^{N_H}(1-\theta {)}^{N_T-1}=0$$ $$N_H(1-\theta )-N_T\theta =0$$ $$\theta =\frac{N_H}{N_H+N_T}$$

3.2 Hoeffding’s inwquality

我们认为当抛硬币的次数越多，估计出的$\theta$越可靠，那么到底需要多少实验样本呢？
霍夫丁不等式给出了随机变量估计值$\hat{\theta }$的和与其期望值${\theta }^{\ast }$偏差的概率上限：$$P(|\hat{\theta }-{\theta }^{\ast }|\ge ϵ)\le 2e^{-2n{ϵ}^2}$$ 假设要求偏差的概率要小于$\delta$， 则$n\ge \frac{\ln (2/\delta )}{2{ϵ}^2}$

3.3 MLE估计高斯分布参数

4. MAP

最大化后验概率(Maximum A Posterior, MAP)是贝叶斯学派的参数估计的方法，该方法中$P(H)$虽然忍让服从$B(\theta )$分布，但是$\theta$不在是一个固定不变的值，$\theta$本身也服从一个参数分布。而贝叶斯方法就是要衡量$\theta$的分布在观察数据前后的变化。

4.1 MAP估计伯努利分布参数

由第二节后验概率$p(\theta |D)=\frac{p(D|\theta )p(\theta )}{p(D)}$知$p(\theta |D)=p(D|\theta )p(\theta )$
对于抛硬币问题，假设$\theta$服从Beta分布，即：$$P(\theta )=\frac{{\theta }^{{\beta }_H-1}(1-\theta {)}^{{\beta }_T-1}}{B({\beta }_H,{\beta }_T)}\sim Beta({\beta }_H,{\beta }_T)$$ 似然函数服从Binomial（二项）分布：$$P(D|\theta )=C_n^{{\alpha }_H}{\theta }^{{\alpha }_H}(1-\theta {)}^{{\alpha }_T}$$ 后验概率仍然是Beta分布：$$P(\theta |D)\sim Beta({\beta }_H+{\alpha }_H,{\beta }_T+{\alpha }_T)$$
$P(\theta )$和$P(\theta |D)$有相同的形式，为共轭先验。
$${\hat{\theta }}_{MAP}=argma{x}_{\theta }P(\theta |D)=argma{x}_{\theta }P(D|\theta )P(\theta )$$$$=\frac{{\alpha }_H+{\beta }_H-1}{{\alpha }_H+{\beta }_H+{\alpha }_T+{\beta }_T-2}$$

由上图可见，随着$n$的增大，从数据中获得的参数的似然性$P(\theta |D)$的重要性越来越大，而先验的重要性会降低。
所以随着我们观测到的数据越来越多，MAP估计逐步逼近MLE 。

4.2 MLE vs. MAP

5. 贝叶斯分类器

第二节中贝叶斯公式如下：
$$p(\theta |D)=\frac{p(D|\theta )p(\theta )}{p(D)}$$ 一般在贝叶斯分类中，对于样本$x\in D$， $x=(x_1,....,x_m)$由$m$个独立特征构成，$\theta$为类别，$p(\theta )$为类别的先验概率, 因为$p(D)$是固定的，所以$p(\theta |D)\approx p(D|\theta )p(\theta )$。
因为特征之间彼此独立，$p(x|\theta )={\prod }_{i=1}^{m}p(x_i|\theta )$
贝叶斯分类器主要是从数据中直接估计后验概率$p(\theta |x)={\prod }_{i=1}^{m}p(x_i|\theta )p(\theta )$，没有优化的过程。

6. 从三个角度建模LR

从MLE、MAP、Bayesian三个角度对LR建模，可以得到LR，Regularized LR和Bayesian LR。

6.1 MLE：LR

最基础的LR模型的参数估计就是最大化log似然函数，所以这边不再赘述。

6.2 MAP：Regularized LR

在接触过l1,l2正则化的朋友都知道l1其实对参数引入了拉普拉斯先验，而l2对参数引入了高斯先验，现在尝试从MAP角度建模LR模型，会发现引入高斯先验的LR正好是加入l2范式的形式。
假设$P(y=1|x;w)=\varphi =\frac{1}{1+e^{-w^{T}x}}$, $p(w_i)=\frac{1}{\sqrt{2\pi }\alpha }exp(-\frac{(w_i{)}^2}{2{\alpha }^2})$

后验概率：
$$L(w)=p(y|X;w)p(x)=\prod _{i=1}^{m}p(y^{(i)}|x^{(i)};w)p(w)$$ $$=\prod _{i=1}^m{\varphi }^{y^{(i)}}(1-{\varphi }^{(1-y^{(i)})})\prod _{j=1}^n\frac{1}{\sqrt{2\pi }\alpha }exp(-\frac{(w_j{)}^2}{2{\alpha }^2})$$ 取对数后：
$$l(w)=logL(w)=log\prod _{i=1}^m{\varphi }^{y^{(i)}}(1-{\varphi }^{(1-y^{(i)})})+log\prod _{j=1}^n\frac{1}{\sqrt{2\pi }\alpha }exp(-\frac{(w_j{)}^2}{2{\alpha }^2})$$ 该式的前半部分为LR的优化目标函数，后半部分为先验部分：
$$logp(w)=-\frac{1}{2{\alpha }^2}\sum _{j=1}^n(w_j{)}^2+\sum _{j=1}^n\frac{1}{\sqrt{2\pi }\alpha }=-\frac{1}{2{\alpha }^2}\sum _{j=1}^n(w_j{)}^2+C$$

6.3 Bayesian: Bayesian LR

待补充

①由最大似然估计的形式可以知道，使用ML拟合数据很可能产生过拟合的情况。
②同样地，由于最大后验估计通过使用贝叶斯理论使得MAP可以通过ML来计算。这里，使用最大后验估计对数据进行拟合就会出现两种情况：当参数向量是一个均匀分布的时候，那么MAP跟ML几乎是一样的，因此会产生过拟合的情况；第二就是，当参数向量具有其它别的概率分布的时候，我们就可以通过假定参数向量符合某种分布，如高斯分布，从而对数据的拟合进行平滑。需要理解的是，数据的概率分布和参数向量的概率分布是不一样的，我们可以假定数据具有某种概率分布，这种概率分布通过一些参数确定该分布的具体形式。而这些参数的取值可能具有某种概率分布。
③所谓的贝叶斯线性回归其实就是使用了线性模型背后的概率模型，通过概率模型确定线性模型的回归系数。而在使用概率模型确定回归系数的过程中就用到了MAP，所以贝叶斯线性回归能够防止过拟合，就是因为它的计算使用了MAP。

参考

• 统计学中的三大学派
• BBM406- Introduction to ML Spring 2014: MLE, MAP ,Bayes Classification
• 机器学习中的MLE、MAP和贝叶斯估计
• 贝叶斯线性回归（Bayesian Linear Regression