PRML(4)--Chapter2(下)-非参数估计

概率密度建模-参数化方法-概率密度的形式一定，由数据集确定密度中的参数即可。

局限性–概率模型选的不对，不能够描述数据模态

此时，介绍一下非参数方法–直方图，核方法， K紧邻

1.直方图

直方图–密度估计–每个直方处密度,$n_i$该直方内的样本数，N总样本数，$\Delta$该直方宽度
$$p_i=\frac{n_i}{N{\Delta }_i}$$

缺点：

1. 在直方交界处概率密度不连续
2. D维变量，每个维度都划分成$M$维度，将会有$M^D$个箱子。

---

估计某个特定位置的概率密度，应该考虑位于那个点的某个邻域内的数据点。
某个点处的概率密度–K 邻域内样本数，$N$总样本数，$V$邻域半径：
$$p(x)=\frac{K}{NV}$$

2. 核方法

固定邻域大小，计算邻域内样本数K。

Parzen 窗核函数密度估计(在窗中的才算):
$$p(x)=\frac{1}{N}\sum _{n=1}^N\frac{1}{h^D}k(\frac{x-x_n}{h})$$

高斯核密度估计(所有样本都算)：
$$p(x)=\frac{1}{N}\sum _{n=1}^N\frac{1}{(2\pi h^2{)}^{\frac{D}{2}}}\exp -\frac{||x-x_n|{|}^2}{2h^2}$$

3. K近邻

固定邻域内样本数K，计算包含K个样本邻域体积。

由K近邻方法导出的K-NN 分类器。
数据集$N_k$个样本属于类别$C_k$,数据总数为$N$，如果想对数据$x$分类；以x为中心的球体中包含$C_k$类样本$K_k$个，x 与每个类别关联的概率：
$$p(x|C_k)=\frac{K_k}{V{N}_k}$$
类别先验：
$$p(C_k)=\frac{N_k}{N}$$

x的后验概率：
$$p(c_k|x)=\frac{p(x,C_k)}{p(x)}=\frac{\frac{K_k}{V{N}_k}\frac{N_k}{N}}{\frac{K}{VN}}=\frac{K_k}{K}$$