非参数技术——Parzen窗估计方法

常用的模式分类的非参数技术主要有两种：Parzen窗估计方法和K-近邻概率密度估计方法。二者其实是对同一个问题的不同角度去解决。Parzen窗估计方法的主题思想是固定窗口区域容积，去看有多少个样本点在里面，而K-近邻概率密度估计方法的主要思想是固定样本点的个数（k个）看需要的多大的容积。本文是一个Parzen窗估计方法的例子。

本例所需要的样本数据如下

问题：

Consider Parzen-windowestimates and classifiers for points in the table above. Let your windowfunction be a spherical Gaussian, i.e.,

(a)WriteaprogramtoclassifyanarbitrarytestpointxbasedontheParzenwindowestimates. Train your classifier using the three-dimensional datafrom your three categories in the table above. Set h = 1 and classify thefollowing three points: (0.50,1.0,0.0)^t, (0 .31,1.51,−0.50)^tand (−0.3,0.44,−0.1)^t.

(b) Repeat with h =0.1.

算法分析：

不妨令

其中H为一正常数。我们有

根据此式可知，H的取值变化只能同等比例地放大或缩小 的值，不影响其变化趋势以及大小关系。因而我们可以假设  。因而我们有

利用这些关系式，我们可以求出 的函数表达式，也就可以对三个测试样本点进行分类。

计算结果：

	0.1259	0.1534	0.1399
	0.4711	0.4828	0.3783
	0.3980	0.2260	0.1832