概率密度分布

最新推荐文章于 2024-02-19 21:47:25 发布

Msunming

最新推荐文章于 2024-02-19 21:47:25 发布

阅读量2.9k

点赞数

分类专栏： ML 文章标签： ML

ML 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

参数密度估计

大多数实际应用过程中，缺乏概率分布的具体解析式，因此需要通过所观察到的样本进行进行估计，通常分为：

参数估计
非参数估计

参数估计

已知：概率分布的解析表达式
求解：确定表达式中的参数

主要方法

最大似然估计（频率学派）
最大后验概率估计（多个先验，贝叶斯学派）
贝叶斯推理
最大熵模型
混合模型（EM算法）

最大似然估计

算法

    1）把参数当做未知实数（不是变量） ------频率学派
    2）需要解析式，很多时候是困难的。解析式是正态分布时，等同于最小二乘法。

随机样本 $x_1,x_2,...,x_N$ 来自概率分布 $p(x;\theta)$
假设样本对立，则联合概率:

$p (X; θ) = p (x 1, x 2, . . ., x N; θ) = \prod k = 1 N p (x k; θ)$ $p(X;\theta) = p(x_1,x_2,...,x_N;\theta)=\prod_{k=1}^Np(x_k;\theta)$
最大似然方法(max likelihood)估计使似然函数取最大值（一般来说先取对数，方便计算）

$θ ¯ M L = a r g m a x θ \prod k = 1 K p (x k; θ)$ $\bar{\theta}_{ML} = argmax_\theta \prod_{k=1}^Kp(x_k;\theta)$
导数为零，进行求解。（或者其他有效的最优化技术,如梯度下降算法等）。

\partial \prod K k = 1 p ( x k ; θ ) \partial θ = 0

$\frac{\partial\prod_{k=1}^Kp(x_k;\theta)}{\partial\theta}=0$

     多数的方程会不可导，可以查阅相关资料进行最优化

具体细节

一般去对数似然函数，大多数也是这么做的，求解方便（如高斯公式取对数）

L (θ) = l n \prod k = 1 N p (x k; θ)

$L(\theta) = ln \prod_{k=1}^Np(x_k;\theta)$

\partial L ( θ ) \partial θ = \sum k = 1 N \partial l n p ( x k ; θ ) \partial θ = \sum k = 1 N 1 p ( x k ; θ ) \partial p ( x k ; θ ) \partial θ = 0

$\frac{\partial L(\theta)}{\partial \theta} = \sum_{k=1}^N \frac{\partial lnp(x_k;\theta)}{\partial \theta} =\sum_{k=1}^N \frac{1}{p(x_k;\theta)} \frac{\partial p(x_k;\theta)}{\partial \theta}=0$

我们可以看出，原来需要对整个连乘公式求偏导，现在需要为每个概率公式求偏导，然后累加。许多公式本身求偏导是有很多良好性质（logister等），计算很简便。

性质

渐进无偏估计（无偏性，根据定义证明即可）
渐进一致的
渐进高效的，最小方差值

参数估计的质量

我们假设有一个理想的模型（我们的目标，也是模式识别的基础），但是目前手里只有一些抽样出来的样本。我们可以认为，学习出来的模型是基于少量样本的，但是我们追求的是适用于所有样本的模型。

当前模型估计的越复杂，那么在该数据集上（目前训练集上）准确性越好，那么模型的鲁棒性（在所有样本上）就会有所下降
当前模型估计的越简单，那么在该数据集上准确性就有所下降，但是模型的鲁棒性会相对上升。

我们不知道目前数据集的可靠性，做的太好（过分推理，过拟合），在测试集上就不一定表现的很好。做的太差（欠拟合，从训练样本中，学习了很少），在测试集上表现平平。这边说的做的太好，做的太差，当然是相对于训练集的。
因此，到底要做怎么样的平衡，通常就是借助验证集来评判。

偏差：真实值与估计值的距离（训练集上的表现）
方差：对于不同数据集，参数估计值的变化

对于高斯分布而言，我们很容易证明：

均值估计是无偏的
方差估计是有偏的（样本很大的时候，偏差消失。因为，当样本很大，先验作用开始不明显，也就是频率学认为先验来自于样本。或者可以从贝叶斯公式也能看出。）

最大后验概率估计

算法

最大后验概率认为 $\theta$ 是随机变量。而不是一个未知参数。（两派之争）
后验概率:

$p (θ | X), X = x 1, x 2, . . ., x N$ $p(\theta|X), X = {x_1,x_2,...,x_N}$
根据贝叶斯定理求出后验概率，然后最大化后验概率（MAP）

$p (θ | X) = p ( X | θ ) p ( θ ) p ( X )$ $p(\theta|X)=\frac{p(X|\theta)p(\theta)}{p(X)}$
导数为零，进行求解。（或者其他有效的最优化技术）。
$\partial p ( θ | X ) \partial θ = 0 或者 \partial p ( X | θ ) p ( θ ) \partial θ = 0$ $\frac{\partial p(\theta|X)}{\partial \theta}=0 或者 \frac{\partial p(X|\theta)p(\theta)}{\partial \theta}=0$

讨论

主要差别在于先验（当先验相同时，或者差别不大时，其差别很小）

贝叶斯推理

算法

已知 $N$ 个样本集合 $X$ 和先验概率 $P(\theta)$ ,计算条件概率密度函数 $p(x|X)$

p (x | X) = \int p (x | θ) p (θ | X) d θ

$p(x|X) = \int p(x|\theta)p(\theta|X)d\theta$

其中

p (θ | X) = p ( X | θ ) p ( θ ) p ( X ) = p ( X | θ ) p ( θ ) \int p ( X | θ ) p ( θ ) d θ

$p(\theta|X) = \frac{p(X|\theta)p(\theta)}{p(X)}=\frac{p(X|\theta)p(\theta)}{\int p(X|\theta)p(\theta)d\theta}$

p (X | θ) = \prod k = 1 N p (x k | θ)

$p(X|\theta) = \prod_{k=1}^N p(x_k|\theta)$

最大熵

    熵是系统不确定性的度量

定义：

H = - \int x p (x) l n p (x) d x

$H = - \int_x p(x)ln p(x) dx$

在具体应用是，只需要看看概率密度函数需要满足那些条件即可。

若均值和方差作为其它约束，对于，概率密度函数的最大熵估计为高斯分布

混合模型

线性组合表示 $p(x)$

p (x) = \sum j = 1 J p (x | j) P j

$p(x) = \sum_{j=1}^J p(x|j)P_j$

其中需要满足一些概率性质（和为1）

\sum j = 1 J P j = 1, \int x p (x | j) d x = 1

$\sum_{j=1}^J P_j = 1 , \int_x p(x|j) dx = 1$

选取合适，可以近似任何连续的密度函数

准备工作

选取相关密度组成函数 $p(x|j)$ ,也就是 $p(x|j;\theta)$
根据观察样本，求解相关参数 $\theta,P_j$

方法

最大化似然函数

\prod k p (x k; θ, P 1, P 2, . . ., P J)

$\prod_k p(x_k;\theta,P_1,P_2,...,P_J)$

难以求解最大值，本质上缺少标签信息，无监督的问题。EM算法可以求解此类问题。

EM算法

有监督学习问题中，概率密度函数为 $p_y(y;\theta)$
那么在无监督中，
$p x (x; θ) = \int Y (x) p y (y; θ) d y$ $p_x(x;\theta) = \int_{Y(x)} p_y(y;\theta) dy$
最大似然估计

$\sum k \partial l n p y ( y k ; θ ) \partial θ = 0$ $\sum_k \frac {\partial lnp_y(y_k;\theta) }{\partial \theta} = 0$
EM 在观察样本和 $\theta$ 当前估计的条件下最大化似然函数的期望
算法流程
1）计算期望

Q(θ;theta(t))=E[∑kln(py(yk;θ|X;;θ(t)))]

2)最大化

∂Q(θ;θ(t))∂θ=0
```
    似然函数一直在不断增大，直至收敛
```
讨论
1. 假设有标签
  $p (x k ， j k; θ) = p (x k | j k; θ) P j k$ $p(x_k，j_k;\theta) = p(x_k|j_k;\theta)P_{jk}$
2. 似然
  $L (θ) = \sum k = 1 N l n (p (x k | j k; θ) P j k)$ $L(\theta) = \sum_{k=1}^N ln(p(x_k|j_k;\theta)P_{jk})$