3.1 线性基函数模型

翻译 2016年05月30日 19:21:01

3.1 线性基函数模型

1、基本概念

回归问题最简单的模型是变量的线性组合:

y(x,ω)=ω0+ω1x1+...++ωDxD

由于线性函数的局限,有时需要与非线性函数组合使用:

y(x,ω)=ω0+j=1M1ωjϕj(x)

其中ϕj(x)被称为基函数(basis function),通常又定义一个格外的“基函数”ϕ0(x)=1 以便将公式简写为:
y(x,ω)=j=0M1ωjϕj(x)=ωTΦ(x)

常用的基函数有:
ϕj(x)=exp{(xμj)22s2}

sigmoidϕj(x)=σ(xμjs)

其中σ(a) 是logistic sigmoid函数,表示为:
σ(a)=11+exp(a)

等价地还可以使用tanh函数,它与logistic sigmoid函数的关系为:
tanh(a)=2σ(2a)1

因此在线性组合中可以替换使用。

即便如此,y(x,ω) 本质上仍是线性模型,它虽然是 x 的非线性函数但却是 ω 的线性函数,依然没有完全摆脱线性函数的局限性。

2、最⼤似然与最⼩平⽅

ωML=(ΦTΦ)1ΦTt

3、顺序学习

最大似然法需要一次处理整个数据集,这种批处理技术对于⼤规模数据集来说计算量相当大。所以当数据集规模较大时,适合用顺序算法(也称在线算法)。每次只考虑一个数据点,每次学习后更新参数。
常用的顺序算法是随机梯度下降法(stochastic gradient descent),假设误差函数由数据点的和组成 E=nEn ,参数 ω 的更新过程为:

ω(γ+1)=ω(γ)ηEn

其中 γ 表示迭代次数,η 表示学习率。
对于平方和误差函数,有:
ω(γ+1)=ω(γ)η(tnω(γ)Tϕn)ϕn

其中 ϕn=ϕ(xn),这被称为最⼩均⽅(least-mean-squares)或者LMS算法。

4、正则化最小平方

可以为误差函数添加正则化项来控制过拟合,则误差函数的形式为:

ED(ω)+λEW(ω)

其中 λ 为正则化系数,用于调整正则化项的重要程度。
正则化项的⼀个最简单的形式为权向量的各个元素的平⽅和:
EW(ω)=12ωTω

这种对于正则化项的选择⽅法在机器学习的⽂献中被称为权值衰减(weight decay),随着 λ 的增⼤,正则化项的影响越来越大,越来越多的参数趋向于变为零。

PRML读书笔记——线性回归模型

这一章从线性回归模型的基本形式出发,主要围绕线性基函数的回归模型展开,分析了最大似然估计和最小平方误差函数的关系、最小平方误差函数的几何意义、正则化的最小平方误差,然后用偏置-方差分解的角度理解正则化...
  • hubin232
  • hubin232
  • 2017年04月22日 15:53
  • 508

PRML读书会第三章 Linear Models for Regression(线性基函数模型、正则化方法、贝叶斯线性回归等)

理解机器学习莫过于从最基础的线性模型开始,第三章 Linear Models for Regression由西北大学planktonli老师主讲,介绍了线性基函数模型、正则化方法、贝叶斯线性回归及其与...
  • Nietzsche2015
  • Nietzsche2015
  • 2015年02月03日 15:51
  • 1940

回归的线性模型

http://blog.csdn.net/pipisorry/article/details/73770637线性基函数回归模型基函数线性回归模型的最简单的形式也是输入变量的线性函数。但是,通过将一组...
  • pipisorry
  • pipisorry
  • 2017年07月08日 11:29
  • 679

3.1 线性基函数模型

3.1 线性基函数模型1、
  • qq_35160701
  • qq_35160701
  • 2016年05月30日 19:21
  • 923

线性回归

线性回归(Linear Regression)@author : duanxxnj@163.com对于一个的拥有mm个观测的训练数据集XX而言,回归的目的就是要对新的nn维输入xx,预测其对应的一个或...
  • daunxx
  • daunxx
  • 2016年06月03日 10:22
  • 4289

再论有限元方法

Banach 空间,由一组线性
  • lizhengjiang
  • lizhengjiang
  • 2014年11月25日 15:10
  • 938

机器学习(5)多项式回归:用基函数扩展线性模型

机器学习中的一个常见模式是使用数据的非线性函数训练的线性模型。 这种方法保持了线性方法的一般快速的性能,同时允许它们适应更宽范围的数据。 例如,可以通过从系数构建多项式特征来扩展简单的线性回归。 在...
  • voidfaceless
  • voidfaceless
  • 2017年03月15日 09:18
  • 625

基于核函数的非线性分类相关分析.pdf

  • 2008年09月22日 23:31
  • 62KB
  • 下载

非线性转换

我们之前的课程都是假设数据是线性可分的,那么我们就可以用一条直线将其分开。 比如,想这样 然而现实生活中并不是这样的   像上面的那张图,无论我们用怎样的线性模型都无法将其很好的分开。但...
  • MosBest
  • MosBest
  • 2016年08月11日 16:22
  • 640

机器学习:贝叶斯总结_3:线性回归和贝叶斯回归

线性回归的基函数模型 y(x,w)=w0+w1x1+......+wDxDy(x,w)=w_0+w_1x_1+......+w_Dx_D y(x,w)=w0+∑M−1j=1wjϕj(x)y(x,w)...
  • mijian1207mijian
  • mijian1207mijian
  • 2016年04月03日 15:39
  • 1600
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:3.1 线性基函数模型
举报原因:
原因补充:

(最多只允许输入30个字)