LR vs LWLR

标签: LRLWLR最小二乘法
2127人阅读 评论(0) 收藏 举报
分类:

N个带标签数据集 (xi,yi),i=1,2,,N ,其中yi是数值型数据,xiM维列向量。我们假设数据xiyi满足线性关系,即

yi=xTiw

其中wxi一样都是M维列向量。
找到最优的w,就是回归要解决的问题。

LR

即 Linear Regression(线性回归) ,也称为普通最小二乘回归(Ordinary Least Squares,OLS)以平方误差

i=1N(yixTiw)2

作为优化目标函数,其中向量w 作为优化参数。

优化目标函数的矩阵形式为:

L=(YXw)T(YXw)

可知YN维列向量,XN×M的矩阵。

L关于w求导,得

Lw=2XT(YXw)

令导数为0解得w:

w=(XTX)1XTY

LWLR

即 Locally Weighted Linear Regression(局部加权线性回归)。
其优化目标函数是

L=(YXw)TD(YXw)

其中 DN×N的对称矩阵,其元素值d(i,j)表示数据xixj的某种关系的度量。

L关于w求导,得

Lw=2XTD(YXw)

令导数为0解得w:

w=(XTDX)1XTDY

d(i,j)的函数称为“核”,核的类型可以自由选择,最常用的是高斯核:

d(i,j)=exp(||xixj||12k2)

观察上式可得:d(i,j)xixjL1范数呈负相关,L1范数越大,值越小;与|k|呈正相关。

|k|取一个很小的值时,d(i,j)的值随||xixj||1的增加衰减速度极快,这时矩阵D非对角线上的元素都为0,对角线上元素值都为1,退化为普通的LR。由此可知,LWLR是LR的推广形式。

1
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:484941次
    • 积分:6221
    • 等级:
    • 排名:第3968名
    • 原创:157篇
    • 转载:2篇
    • 译文:0篇
    • 评论:122条
    博客专栏
    Snapshot
    • x
    • x
    • x
    • x
    • x
    • x