LR vs LWLR

原创 2015年07月06日 19:01:14

N个带标签数据集 (xi,yi),i=1,2,,N ,其中yi是数值型数据,xiM维列向量。我们假设数据xiyi满足线性关系,即

yi=xTiw

其中wxi一样都是M维列向量。
找到最优的w,就是回归要解决的问题。

LR

即 Linear Regression(线性回归) ,也称为普通最小二乘回归(Ordinary Least Squares,OLS)以平方误差

i=1N(yixTiw)2

作为优化目标函数,其中向量w 作为优化参数。

优化目标函数的矩阵形式为:

L=(YXw)T(YXw)

可知YN维列向量,XN×M的矩阵。

L关于w求导,得

Lw=2XT(YXw)

令导数为0解得w:

w=(XTX)1XTY

LWLR

即 Locally Weighted Linear Regression(局部加权线性回归)。
其优化目标函数是

L=(YXw)TD(YXw)

其中 DN×N的对称矩阵,其元素值d(i,j)表示数据xixj的某种关系的度量。

L关于w求导,得

Lw=2XTD(YXw)

令导数为0解得w:

w=(XTDX)1XTDY

d(i,j)的函数称为“核”,核的类型可以自由选择,最常用的是高斯核:

d(i,j)=exp(||xixj||12k2)

观察上式可得:d(i,j)xixjL1范数呈负相关,L1范数越大,值越小;与|k|呈正相关。

|k|取一个很小的值时,d(i,j)的值随||xixj||1的增加衰减速度极快,这时矩阵D非对角线上的元素都为0,对角线上元素值都为1,退化为普通的LR。由此可知,LWLR是LR的推广形式。

版权声明:作者:Jinliang's Hill(金良山庄),欲联系请评论博客或私信,CSDN博客: http://blog.csdn.net/u012176591

相关文章推荐

用xpath解析网页

作者:金良(golden1314521@gmail.com) csdn博客:http://blog.csdn.net/u012176591 lxml手册:http://lxml.de/in...

PGM:贝叶斯网的参数估计

http://blog.csdn.net/pipisorry/article/details/52578631本文讨论贝叶斯网的参数估计问题:贝叶斯网的MLE最大似然估计和贝叶斯估计。假定网络结构是固...

Support Vector Machines(SVM) vs Logistic Regression(LR)

Reference http://www.cs.toronto.edu/~kswersky/wp-content/uploads/svm_vs_lr.pdf
  • ywcpig
  • ywcpig
  • 2016年10月03日 20:13
  • 687

LWLR和STFT应用于交通事件检测

STFT与LWLR应用于交通事件检测

LWLR 局部加权线性回归---Python实现

局部加权线性回归 — LWLR算法介绍线性回归的一个问题是可能出现欠拟合,因为它求的是具有最小均方误差的无偏估计,可以通过引入一些偏差,从而降低均方误差。 LWLR: 算法中给待预测点附近的每个点都...

关于LR录制时不能自动启动IE浏览器的解决方法总结

录制环境:win7  64位操作系统  IE9  LR11 在使用loadrunner进行性能调试时,录制脚本的时候,发现loadrunner不能调用IE、不能自动启动IE,还有一种情况是可以启动,...

Caffe傻瓜系列(11):caffe中的lr_policy选择

在自己配置训练网络时的solver文件中这个参数选择有好多种策略。 接下来看看caffe.proto文件的这个参数: // The learning rate decay policy. The ...

【编译原理】自下而上的语法分析之LR分析法

LR分析器是一种由下而上(bottom-up)的上下文无关语法分析器。LR意指由左(Left)至右处理输入字符串,并以最右边优先派生(Right derivation)的推导顺序(相对于LL分析器...
  • zhbssn
  • zhbssn
  • 2014年07月13日 21:54
  • 5803

LR11添加多台负载机配置

面对并发量比较大的性能需求,用单台机子进行加压由于本身硬件资源、网络资源等的限制已经不能满足该性能测试条件,这个时候就需要在场景中添加多台负载机来联机做性能测试。添加多台负载机的设置非常简单下面做一个...

逻辑回归LR推导(sigmoid,损失函数,梯度,参数更新公式)

主要参考文献:The equivalence of logistic regression and maximum entropy models,John Mount 一、声明 x(1),x(2),...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:LR vs LWLR
举报原因:
原因补充:

(最多只允许输入30个字)