机器学习——概率密度估计随笔

概率与统计关系

先捋清楚概率和统计分别是啥意思。

下面的一段话引自LarrB Wasserman的《All of Statistics》，对概率和统计推断的研究内容进行了描述：

The basic problem that we studB in probabilitB is:
Given a data generating process, what are the properities of the outcomes?

The basic problem of statistical inference is the inverse of probabilitB:
Given the outcomes, what can we saB about the process that generated the data?
概率论是在给定条件（已知模型和参数）下，对要发生的事件（新输入数据）的预测。统计推断是在给定数据（训练数据）下，对数据生成方式（模型和参数）的归纳总结。概率论是统计学的数学基础，统计学是对概率论的应用。

参数估计

参数估计就是已经有了一大堆数据，我们先假设这些数据符合什么概率分布（高斯分布？伯努利分布？）。
有了概率分布就有了参数，高斯分布的参数就是协方差矩阵和均值向量，伯努利分布的参数就是硬币朝上的概率p。。。
参数估计最重要的就是极大似然估计

似然与概率

在英文中，似然（likelihood）和概率（probability）是同义词，都指事件发生的可能性。但在统计中，似然与概率是不同的东西。概率是已知参数，对结果可能性的预测。似然是已知结果，对参数是某个值的可能性预测。

似然函数与概率函数

函数$P(x|\theta )$从观测角度不同有两种情况：

1. 当参数$\theta$已知且不变，$P(x|\theta )$表现为不同x情况下的概率函数
2. 当x已知且不变时，$\theta$为变量，$P(x|\theta )$就是似然函数。表示不同$\theta$下，x出现的概率，有时候似然函数的表达形式有许多中比如，$L(x;\theta )$,$L(\theta |x)$,$L(\theta ;x)$等

极大似然估计

MLE网上讲的很多了，这里我就不码字了。

前提：

1. 观测样本的存在

2. 每个样本之间是独立的

3. 所有样本符合一个概率模型

以$\theta$为变量根据概率分布函数写出单个$x_i$的似然函数，然后根据独立性假设写出所有样本的联合分布，因为是独立的所以直接连乘即可，然后乘法不好算，取对数转化为加法。
对参数分别求偏导得0，如果有闭式解则得到参数，没有的话可能需要迭代法求解，比如EM算法？
最大似然估计的求解步骤：

1. 确定似然函数
2. 将似然函数转换为对数似然函数
3. 求对数似然函数的最大值（求导，解似然方程）

最大后验估计（MAP）

在MLE求解时，将$\theta$看作一个固定的值，$\theta$的值就是使似然函数达到最大时候（即偏导=0）的值。MAP就是认为$\theta$不是固定值，而是一个随机变量，$\theta$也有某种概率分布，称之为先验分布$P(\theta )$。
现在我们要同时考虑$P(x|\theta )P(\theta )$，使$P(x|\theta )P(\theta )$达到最大的值的$\theta$就是最好的$\theta$。
此时要最大化的函数变为$P(X|\theta )P(\theta )$，由于X的先验分布P(X)是固定的（可通过分析数据获得，其实我们也不关心X的分布，我们关心的是$\theta$，因此最大化函数可变为 P ( X ∣ θ ) P ( θ ) P ( X ) \frac {P(X|\theta)P(\theta)} {P(X)}