机器学习模型

学习笔记
多数情况下，机器学习的任务是求解输入输出单独或者共同符合的概率分布，或者拟合输入输出之间的数量关系。从数据的角度看，如果待求解的概率分布或者数量关系可以用一组 有限且固定数目的参数完全刻画，求出的模型就是参数模型（parametric model）；反过 来，不满足这个条件的模型就是非参数模型（non-parametric model）。
注意：“非参数模型”不是“无参数模型”，恰恰相反，非参数模型意味着模型参 数的数目是不固定的，并且极有可能是无穷大，这决定了非参数模型不可能像参数模型那样用固定且有限数目的参数来完全刻画。

参数模型的优点在于只用少量参数就完整地描述出数据的概率特性，参数集中的每个参数都 具有明确的统计意义。举个例子来说：连续变量的正态分布N（u,p) 包含两个参数，分别代表着随机变量的均值和方差。这就是一个参数模型，从机器学习的角度来说此时算法的的任务就是求出这些决定概率特性的参数，只要参数确定 ，数据的统计分布也就确定，即使未知的数据无穷无尽，我们也可以通过几个简单的参数来确定它们的性质。

那我们又怎样来区分参数模型与非参数模型呢？可以通过下面这个实例来简单地体现：假定一个训练集中有 99 个数据，其均值为 100，方差为 1。那么对于第 100 个数据来说，它会以 99% 的概率小于哪一个数值呢？使用参数模型解决这个问题时，可以假设所有数据都来自于同一个正态分布 。利用训练数据构造关于正态分布均值和标准差的无偏估计量，可以得到相应的估计值 。如此就不难计算出，新数据会以 99% 的概率