3.1 线性基函数模型

翻译 2016年05月30日 19:21:01

3.1 线性基函数模型

1、基本概念

回归问题最简单的模型是变量的线性组合:

y(x,ω)=ω0+ω1x1+...++ωDxD

由于线性函数的局限,有时需要与非线性函数组合使用:

y(x,ω)=ω0+j=1M1ωjϕj(x)

其中ϕj(x)被称为基函数(basis function),通常又定义一个格外的“基函数”ϕ0(x)=1 以便将公式简写为:
y(x,ω)=j=0M1ωjϕj(x)=ωTΦ(x)

常用的基函数有:
ϕj(x)=exp{(xμj)22s2}

sigmoidϕj(x)=σ(xμjs)

其中σ(a) 是logistic sigmoid函数,表示为:
σ(a)=11+exp(a)

等价地还可以使用tanh函数,它与logistic sigmoid函数的关系为:
tanh(a)=2σ(2a)1

因此在线性组合中可以替换使用。

即便如此,y(x,ω) 本质上仍是线性模型,它虽然是 x 的非线性函数但却是 ω 的线性函数,依然没有完全摆脱线性函数的局限性。

2、最⼤似然与最⼩平⽅

ωML=(ΦTΦ)1ΦTt

3、顺序学习

最大似然法需要一次处理整个数据集,这种批处理技术对于⼤规模数据集来说计算量相当大。所以当数据集规模较大时,适合用顺序算法(也称在线算法)。每次只考虑一个数据点,每次学习后更新参数。
常用的顺序算法是随机梯度下降法(stochastic gradient descent),假设误差函数由数据点的和组成 E=nEn ,参数 ω 的更新过程为:

ω(γ+1)=ω(γ)ηEn

其中 γ 表示迭代次数,η 表示学习率。
对于平方和误差函数,有:
ω(γ+1)=ω(γ)η(tnω(γ)Tϕn)ϕn

其中 ϕn=ϕ(xn),这被称为最⼩均⽅(least-mean-squares)或者LMS算法。

4、正则化最小平方

可以为误差函数添加正则化项来控制过拟合,则误差函数的形式为:

ED(ω)+λEW(ω)

其中 λ 为正则化系数,用于调整正则化项的重要程度。
正则化项的⼀个最简单的形式为权向量的各个元素的平⽅和:
EW(ω)=12ωTω

这种对于正则化项的选择⽅法在机器学习的⽂献中被称为权值衰减(weight decay),随着 λ 的增⼤,正则化项的影响越来越大,越来越多的参数趋向于变为零。

相关文章推荐

PRML读书笔记——线性回归模型

这一章从线性回归模型的基本形式出发,主要围绕线性基函数的回归模型展开,分析了最大似然估计和最小平方误差函数的关系、最小平方误差函数的几何意义、正则化的最小平方误差,然后用偏置-方差分解的角度理解正则化...

PRML读书会第六章 Kernel Methods(核函数,线性回归的Dual Representations,高斯过程 ,Gaussian Processes)

第六章Kernel Methods,介绍了核函数的定义、构建方法,通过线性回归的Dual Representations推导说明由基于特征到基于样本学习的转换;最后是动感十足的高斯过程Gaussian...

PRML读书会第三章 Linear Models for Regression(线性基函数模型、正则化方法、贝叶斯线性回归等)

理解机器学习莫过于从最基础的线性模型开始,第三章 Linear Models for Regression由西北大学planktonli老师主讲,介绍了线性基函数模型、正则化方法、贝叶斯线性回归及其与...

CS231n课程笔记3.1:线性分类器(SVM,softmax)的误差函数、正则化

CS231n简介详见 CS231n课程笔记1:Introduction。 注:斜体字用于注明作者自己的思考,正确性未经过验证,欢迎指教。课程笔记这篇是线性分类器的第二部分,回忆线性分类器的线性体现...

机器学习(5)多项式回归:用基函数扩展线性模型

机器学习中的一个常见模式是使用数据的非线性函数训练的线性模型。 这种方法保持了线性方法的一般快速的性能,同时允许它们适应更宽范围的数据。 例如,可以通过从系数构建多项式特征来扩展简单的线性回归。 在...

Machine Learning第一讲[单变量线性回归] --(一)模型和代价函数

内容来自Andrew老师课程Machine Learning的第一章内容的Model and Cost Function部分。一、Model Representation1、简单术语 m:训练样本的...

3.1 线性不可以分

转自3.1 线性不可以分  我们之前讨论的情况都是建立在样例线性可分的假设上,当样例线性不可分时,我们可以尝试使用核函数来将特征映射到高维,这样很可能就可分了。然而,映射后我们也不能100%保证可分。...
  • qiye005
  • qiye005
  • 2015年08月04日 11:10
  • 251

3.1Mat的线性代数基础操作

  • 2017年03月29日 09:31
  • 7KB
  • 下载

用DPM(Deformable Part Model,voc-release3.1)算法在INRIA数据集上训练自己的人体检测模型

用DPM(Deformable Part Model,voc-release3.1)算法在INRIA数据集上训练自己的人体检测模型...
  • masikkk
  • masikkk
  • 2014年05月13日 12:10
  • 11140

径向基函数神经网络模型

  • 2015年11月24日 10:31
  • 2KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:3.1 线性基函数模型
举报原因:
原因补充:

(最多只允许输入30个字)