参数方法、半参数方法和非参数方法

• 参数方法，假定概率分布，只来估计少量参数。

• 半参数方法，对数据分组，每组采用一种概率分布的假设，最后使用混合概率分布。

• 非参数方法，不需要知道数据的概率分布，只需要假设：相似的输入具有相似的输出。因为我们一般都认为世界的变化时平稳、量变到质变的，因此无论是密度、判别式还是回归函数都应当缓慢地变化。在这样的非参数估计（non-paramitric estimation）中，局部实例对于密度的影响就显得颇为重要，而较远的实例影响则较小。

非参数方法主要有：

--非参数密度估计
--直方图形式的估计
--核估计
--k-最近邻估计