2019年秋季数据挖掘与机器学习课程学习笔记

第一节课

第二节课

第三节课

第四节课 density estimation

介绍：

令$X_1,X_2,...,X_n$是来自分布$P$的密度为$p$的样本，非参数密度估计目标就是在最少的关于密度$p$的假设的情况对$p$进行估计。我们用$\hat{p}$来表示$p$的估计。这个估计会依赖一个光滑的参数$h$，小心的选择$h$是关键的。为了强调这个对$h$的依赖，我们使用${\hat{p}}_h$记号。

密度估计可被用于：回归、分类、聚类、无监督预测。举例而言：如果$\hat{p}(x,y)$是$p(x,y)$的一个估计，那么我们可以得到回归函数的以下估计：
$$\hat{m}(x)=\int y\widehat{(}y|x)dy$$
其中$\hat{p}(y|x)=\hat{p}(y,x)\hat{p}(x)$.对于分类问题而言，我们回忆Bayes rule：
$$h(x)=I(p_1(x){\pi }_1>p_0(x){\pi }_0)$$
其中${\pi }_1=\mathbb{P}(Y=1),{\pi }_0=\mathbb{P}(Y=0),p_1(x)=p(x|y=1)$,$p_0(x)=p(x|y=0)$.输入样本对于${\pi }_1,{\pi }_0$的估计，对$p_1,p_0$的密度估计则会产生一个基于Bayes rule的预测。很多你熟悉的分类器可以被用这种方式重新表述。

损失函数

最常使用的损失函数是$L_2$损失：
$$\int (\hat{p}-p(x){)}^{2}dx=\int {\hat{p}}^2(x)dx-2\int \hat{p}(x)p(x)+\int p^2(x)dx$$
风险是 $R(p,\hat{p})=\mathbb{E}(L(p,\hat{p}))$。
Devroye and Gyorfi(1985) 强烈推荐使用 $L_1$范数
$$\Vert \hat{p}-p{\Vert }_1\equiv \int |\hat{p}(x)-p(x)|dx$$
作为$L_2$范数的代替。$L_1$损失有以下的良好解释：如果$P,Q$是分布，定义全变差度量：
$$d_{TV}(P,Q)=su{p}_A|P(A)-Q(A)|$$
上确界取遍所有的可测集。如果$P,Q$有密度$p,q$那么有：
$$d_{TV}(P,Q)=\frac{1}{2}\int |p-q|=\frac{1}{2}\Vert p-q{\Vert }_1$$
因此，如果$\int |p-q|<\delta$那么我们知道$|P(A)-Q(A)|<\frac{\delta }{2}$对于所有的$A$。同样的，$L_1$范数是一个变形不变量(transformation invariant)。假设$T$是一个一对一的光滑映射，令$Y=T(X)$。令$p$和$q$是$X$的密度，令$\hat{p},\hat{q}$是相应的$Y$的密度，那么：
$$\int |p(x)-q(x)|dx=\int |\hat{p}(y)-\hat{q}(y)|dy$$
因此在此定义下的距离不会因为一一映射而改变，但无论如何我们还是聚焦于$L_2$损失。

Histograms直方图

Perhaps the simplest density estimators are histograms. For convenience, assume that the data X 1 , . . . , X n X_1,...,X_n