概率论基础知识（三） 参数估计

概率论基础知识（三） 参数估计

1、矩

矩是用来描述随机变量的某些特征的数字，即求平均值，用大写字母E表示。
矩是更具有一般意义的数字特征。

设有随机变量X，若$E(|X{|}^k)<+\infty$(即：存在且有限)，则称${\alpha }_k=E(X^k)$，k=1, 2, …是X的k阶原点矩。

若E(X)存在，且$E(|X-EX{|}^k)<+\infty$，则称${\beta }_k=E(X-EX{)}^k,k=1,2,...$是X的k阶中心矩。

期望EZ：一阶原点矩
方差DZ：二阶中心距

高阶矩存在，则低阶矩显然存在。

2、点估计之矩估计

点估计
设总体的分布函数为$F(x,{\theta }_1,{\theta }_2,...,{\theta }_k)$（分布已确定，有未知参数），以样本$X_1,X_2,...,X_n$对未知参数${\theta }_i(i=1,2,...,n)$构造一个合适的统计量：
$${\hat{\theta }}_i={\hat{\theta }}_i(X_1,X_2,...,X_n)$$每当有一组具体的样本值$x_1,x_2,...,x_n$，将一个数值${\hat{\theta }}_i(X_1,X_2,...,X_n)$作为${\theta }_i$的估计（点估计）。

简单来说，就是已知总体分布，由样本推断未知参数。

矩估计
以样本矩作为总体矩的估计。
总体矩：
$$a_k=E{X}^k,b_k=E(X-EX{)}^k$$
样本矩：
$${\alpha }_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k,{\beta }_k=\frac{1}{n}\sum _{i=1}^n(X_i-\hat{X}{)}^k$$
由大数定律可知：
$${\alpha }_k\to a_k,{\beta }_k\to b_k$$

3、点估计之极大似然估计法

基本思想：最大可能性原则（似然即是可能性）

设总体分布已知p(x)，含有一个或n个未知参数${\theta }_1,{\theta }_2,...,{\theta }_n$
$X_1,X_2,...,X_n$为来自该总体的样本；
$x_1,x_2,...,x_n$是样本的观测值。

这相当于事件$X_1=x_1,X_2=x_2,...,X_n=x_n$是最可能发生的事件，我们认为它有最大概率。

样本的（联合）概率密度：
${\prod }_{i=1}^{n}p(x,{\theta }_1,{\theta }_2,...,{\theta }_n)=L(x_1,...,x_n,{\theta }_1,{\theta }_2,...,{\theta }_n)$

联合概率密度主要采用微积分方法求解：概率统计“搭台”，微积分“唱戏”。

使似然函数L取到最大值的${\hat{\theta }}_1,{\hat{\theta }}_2,...,{\hat{\theta }}_n$称为未知参数${\theta }_1,{\theta }_2,...,{\theta }_n$的极大似然估计值。

简单来说，就是：
认为观测值是最有可能发生的样本，故：使其联合概率密度函数最大化时求出的$\theta$是产生当前结果最有可能的$\theta$。

1、若总体X为离散型，其概率分布列为
$$P(X=x)=p(x;\theta )$$其中$\theta$为未知参数。设$(X_1,X_2.\dots ,X_n)$是取自总体的样本容量为n的样本，则$(X_1,X_2.\dots ,X_n)$的联合分布律为${\prod }_{i=1}^{n}p(x_i,\theta )$。又设$(X_1,X_2.\dots ,X_n)$的一组观测值为$(x_1,x_2.\dots ,x_n)$，易知样本$X_1,X_2.\dots ,X_n$取到观测值$x_1,x_2.\dots ,x_n$的概率为：
$$L(\theta )=L(x_1,x_2.\dots ,x_n;\theta )=\prod _{i=1}^{n}p(x_i,\theta )$$这一概率随$\theta$的取值而变化，它是$\theta$的函数，称$L(\theta )$为样本的似然函数。
2、若总体X为连续型，其概率密度函数为$f(x;\theta )$，其中$\theta$为未知参数。设$(X_1,X_2.\dots ,X_n)$是取自总体的样本容量为n的简单样本，则$(X_1,X_2.\dots ,X_n)$的联合概率密度函数为${\prod }_{i=1}^{n}f(x_i,\theta )$。又设$(X_1,X_2.\dots ,X_n)$的一组观测值为$x_1,x_2.\dots ,x_n$，则随机点$(X_1,X_2.\dots ,X_n)$落在点$x_1,x_2.\dots ,x_n$的邻边（边长分别为$d{x}_1,d{x}_2,\dots ,d{x}_n$的n维立方体）内的概率近似地为${\prod }_{i=1}^{n}f(x_i,\theta )d{x}_i$。
考虑函数
$$L(\theta )=L(x_1,x_2.\dots ,x_n;\theta )=\prod _{i=1}^{n}f(x_i,\theta )$$
同样，$L(\theta )$称为样本的似然函数。
极大似然估计法原理就是固定样本观测值$x_1,x_2.\dots ,x_n$，挑选参数$\theta$使$$L(x_1,x_2.\dots ,x_n;\hat{\theta })=maxL(x_1,x_2.\dots ,x_n;\theta )$$这样得到的$\hat{\theta }$与样本值有关，$\hat{\theta }(x1，x2.\dots ，x1)$称为参数$\theta$的极大似然估计值，其相应的统计量$\hat{\theta }(X_1，X_2\dots ，X_1)$称为$\theta$的极大似然估计量。极大似然估计简记为MLE或$\hat{\theta }$。
问题是如何把参数$\theta$的极大似然估计$\hat{\theta }$求出。更多场合是利用$lnL(\theta )$是$L(\theta )$的增函数，故$lnL(\theta )$与$L(\theta )$在同一点处达到最大值，于是对似然函数$L(\theta )$取对数，利用微分学知识转化为求解对数似然方程$$\frac{\partial lnL(\theta )}{\partial {\theta }_j}=0,j=1,2,...,n$$解此方程并对解做进一步的判断。但由最值原理，如果最值存在，此方程组求得的驻点即为所求的最值点，就可以很到参数的极大似然估计。极大似然估计法一般属于这种情况，所以可以直接按上述步骤求极大似然估计。

关于先验概率、后验概率、似然估计、条件概率：
先验分布：根据一般的经验认为随机变量应该满足的分布，eg:根据往年的气候经验（经验），推测下雨（结果）的概率即为先验概率；
后验分布：通过当前训练数据修正的随机变量的分布，比先验分布更符合当前数据，eg: 有乌云（原因、观测数据）的时候下雨（结果）的概率即为后验概率；
似然估计：已知训练数据，给定了模型（已知概率分布），通过让似然性极大化估计模型参数的一种方法，eg: 下雨（结果）的时候有乌云（观测数据、原因等）的概率即为似然概率；
后验分布往往是基于先验分布和极大似然估计计算出来的。
&ThickSpace; \;
贝叶斯公式（后验概率公式、逆概率公式）：

Θ：决定数据分布的参数（原因）
x: 观察得到的数据（结果）
p(x): 证据因子evidence
p(Θ): 先验概率
p(Θ|x): 后验概率
p(x|Θ): 似然概率
&ThickSpace; \;
后验概率＝似然函数×先验概率/证据因子，证据因子（Evidence，也被称为归一化常数）可仅看成一个权值因子，以保证各类别的后验概率总和为1从而满足概率条件。
&ThickSpace; \;
注：
联合概率：$P(AB)=P(A)P(B|A)=P(B)P(A|B)$
条件概率：$P(A|B)=\frac{P(AB)}{P(B)}$
贝叶斯公式：$P(B|A)=\frac{P(A|B)P(B)}{P(A)}$

对逻辑回归：
二分类任务可看作做了n次独立同分布试验的二项分布。
已知总体概率分布：
$$P(y|x;\omega )=\{\begin{array}{ll}\Phi (X),& \text{if y=1}\\ 1-\Phi (X),& \text{if y=0}\end{array}$$上式可改写为：
$$P(y|x;\omega )=\Phi (X{)}^y(1-\Phi (X){)}^{(1-y)}$$因此，联合概率密度为：
$$L(\omega )=\prod _{i=1}^{n}p(y^{(i)}|\theta ,\omega )=\prod _{i=1}^n\Phi (X^{(i)}{)}^{y^{(i)}}(1-\Phi (X^{(i)}){)}^{(1-y^{(i)})}$$取对数可得：
$$l(\omega )=\sum _{i=1}^{n}lnp(y^{(i)}|\theta ,\omega )=\sum _{i=1}^n{y}^{(i)}ln[\Phi (X^{(i)})]+(1-y^{(i)})ln[(1-\Phi (X^{(i)}))]$$
对$L(\omega )$求极大值，可求出最有可能的$\omega$。
由于该函数是凸函数，故可采用数值优化算法如梯度下降法、牛顿法求其最优解。

以下采用梯度下降法：
令
$$J(\theta )=-l(\omega )=-\sum _{i=1}^n{y}^{(i)}ln[\Phi (X^{(i)})]+(1-y^{(i)})ln[(1-\Phi (X^{(i)}))]$$
$$\frac{\partial J(\theta )}{\partial {\theta }_j}=-\sum _{i=1}^n[y^{(i)}\frac{1}{\Phi (X^{(i)})}-(1-y^{(i)})\frac{1}{(1-\Phi (X^{(i)}))}]\frac{\partial \Phi (X^{(i)})}{\partial {\theta }_j}$$
由于对于sigmoid函数：
$${\Phi }^{\prime }(X)=\Phi (X)(1-\Phi (X))$$
$$\frac{\partial ({\omega }^{T}x+b)}{\partial \omega }=x$$
故：
$$=-\sum _{i=1}^n[y^{(i)}\frac{1}{\Phi (X^{(i)})}-(1-y^{(i)})\frac{1}{(1-\Phi (X^{(i)}))}]\Phi (X^{(i)})(1-\Phi (X^{(i)}))\frac{\partial X^{(i)}}{\partial {\theta }_j}$$
$$=-\sum _{i=1}^n[y^{(i)}(1-\Phi (X^{(i)}))-(1-y^{(i)})\Phi (X^{(i)})]x_j^{(i)}$$
从而得到：
$${\theta }_j:={\theta }_j+\eta \sum _{i=1}^n(y^{(i)}-\Phi (X^{(i)}))x_j^{(i)}$$
随机梯度下降：
$${\theta }_j:={\theta }_j+\eta (y^{(i)}-\Phi (X^{(i)}))x_j^{(i)}，foriinrange(n)$$