参数模型与非参数模型
1、概述
LR是参数模型,SVM是非参数模型。
参数模型、非参数模型(以及半参数模型)的概念应该源自于统计学中。统计专业课程《非参数统计》研究的对象就是秩检验、核密度估计等。
在统计学中,参数模型通常假设总体(随机变量)服从某一个分布,该分布由一些参数确定(比如正态分布由均值和方差确定),在此基础上构建的模型称为参数模型;非参数模型对于总体的分布不做任何假设,只是知道总体是一个随机变量,其分布是存在的(分布中也可能存在参数),但是无法知道其分布的形式,更不知道分布的相关参数,只有在给定一些样本的条件下,能够依据非参数统计的方法进行推断。
从上述的区别中可以看出,问题中有没有参数,并不是参数模型和非参数模型的区别。其区别主要在于总体的分布形式是否已知。 而为何强调“参数”与“非参数”,主要原因在于参数模型的分布可以由参数直接确定。
2、参数机器学习算法
假设可以极大地简化学习过程,但是同样可以限制学习的内容。简化目标函数为已知形式的算法就称为参数机器学习算法。
通过固定大小的参数集(与训练样本数独立)概况数据的学习模型称为参数模型。不管你给与一个参数模型多少数据,对于其需要的参数数量都没有影响。
— Artificial Intelligence: A Modern Approach,737页
参数算法包括两部分:
- 选择目标函数的形式。
- 从训练数据中学习目标函数的系数。
对于理解目标函数来讲,最简单的就是直线了,这就是线性回归里面采用的形式:
y
=
b
0
+
b
1
×
x
1
+
b
2
×
x
2
y=b_0+b_1\times x_1+b2\times x_2
y=b0+b1×x1+b2×x2其中
b
0
b_0
b0、
b
1
b_1
b1和
b
2
b_2
b2是直线的系数,其影响直线的斜度和截距,
x
1
x_1
x1和
x
2
x2
x2是两个输入变量。
把目标函数的形式假设为直线极大地简化了学习过程。那么现在,我们需要做的是估计直线的系数并且对于这个问题预测模型。
通常来说,目标函数的形式假设是对于输入变量的线性联合,于是参数机器学习算法通常被称为“线性机器学习算法”。
那么问题是,实际的未知的目标函数可能不是线性函数。它可能接近于直线而需要一些微小的调节。或者目标函数也可能完全和直线没有关联,那么我们做的假设是错误的,我们所做的近似就会导致差劲的预测结果。
参数机器学习算法包括:
- 逻辑回归
- 线性成分分析
- 感知机
参数机器学习算法有如下优点:
- 简洁:理论容易理解和解释结果
- 快速:参数模型学习和训练的速度都很快
- 数据更少:通常不需要大量的数据,在对数据的拟合不很好时表现也不错
参数机器学习算法的局限性:
4. 约束:以选定函数形式的方式来学习本身就限制了模型
5. 有限的复杂度:通常只能应对简单的问题
6. 拟合度小:实际中通常无法和潜在的目标函数吻合
3、非参数机器学习算法
对于目标函数形式不作过多的假设的算法称为非参数机器学习算法。通过不做假设,算法可以自由的从训练数据中学习任意形式的函数。
当你拥有许多数据而先验知识很少时,非参数学习通常很有用,此时你不需要关注于参数的选取。
— Artificial Intelligence: A Modern Approach,757页
非参数理论寻求在构造目标函数的过程中对训练数据作最好的拟合,同时维持一些泛化到未知数据的能力。同样的,它们可以拟合各种形式的函数。
对于理解非参数模型的一个好例子是k近邻算法,其目标是基于k个最相近的模式对新的数据做预测。这种理论对于目标函数的形式,除了相似模式的数目以外不作任何假设。
一些非参数机器学习算法的例子包括:
- 决策树,例如CART和C4.5
- 朴素贝叶斯
- 支持向量机
- 神经网络
非参数机器学习算法的优势:
- 可变性:可以拟合许多不同的函数形式。
- 模型强大:对于目标函数不作假设或者作微小的假设
- 表现良好:对于预测表现可以非常好。
非参数机器学习算法局限性:
4. 需要更多数据:对于拟合目标函数需要更多的训练数据
5. 速度慢:因为需要训练更多的参数,训练过程通常比较慢。
6. 过拟合:有更高的风险发生过拟合,对于预测也比较难以解释。
能不能用简明的语言解释非参数(nonparametric)模型与参数(parametric)模型间的区别?
-
解释1:
简单来说就是不对样本的总体分布做假设,直接分析样本的一类统计分析方法。
pararmetric通常对样本进行统计分析的时候,首先要假设他们来自某个分布,然后用样本中的数据去estimate这个分布对应的参数,之后再做一些test之类。比如你假设某个样本来自同一个正态分布,然后用样本数据估算 μ \mu μ和 σ \sigma σ,再用估算出来的这两个值做test。
non-pararmetric则不然,不对总体分布做假设,自然也就不必estimate相应的参数。 -
解释2:
首先,任何一个模型( Model)的建立都有其基础或假设( Assumptions)。而参数模型( parametric models)和非参数( Nonparametric models)亦不例外:二者最主要的区别是关于数据分布的假设参数模型对数据分布( distribution, density)有假设,而非参数模型对数据分布假设自由( distribution-free),但是对数据必须可以排序(rank, score)。 所以回顾二者的名字 “参数”,即指数据分布的参数。
之所以有这两种不同的模型,可以简要归纳为关于数据分布理想和现实的差距: 参数模型:对数据的分布( Distributions, or Density) 有理想的假设,模型更加 robust;然而现实的情况是,往往数据不足以提供给我们机会去判断分布、抑或本身没有明显的特征。这时,非参数模型,更加关注数据先后顺序( Ranks, Scores) 便显得更加 powerful
其次,是方法上的区別:参数模型正如其名,利用数据的数量关系及其分布进行检验和预测( tests
and inference);然而,非参数模型(如果可能,可称作:排序模型( rank models)),利用数据本身的排序进行检验和预测。特别的,排序( ranks)是分数( scores)的一种特殊情况。
从方法可以看出,非参数模型的建立亦有其假设,即对数据可以排序。换言之,如果数据中有相等
量(ties),会影别响其排序,从而影响信度
最后,反应在应用领成,二者基本平行。
综合以上内容,从以下三点总结:
- WHY: Different Assumption.
- HOW: Different Method.
- WHAT: Same Topics.
转载自https://blog.csdn.net/sinat_27652257/article/details/80543604