线性回归与局部加权回归（附代码）

最新推荐文章于 2024-05-15 10:31:05 发布
最新推荐文章于 2024-05-15 10:31:05 发布
阅读量3.1k 收藏 18
点赞数 8
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wprofessor/article/details/88877317
版权

线性回归

标准方程法

一般我们使用梯度下降法求解线性回归，而要求解最优方程往往需要迭代很多步，标准方程法可以一步到位。假设有一个代价函数：J(θ)=aθ2+bθ+c 。找出能使代价函数最小化的θ，也就是求出J关于θ的导数，当该导数为0的时候，θ最小。

在这里插入图片描述

标准方程法就是直接将上市经过求导转化成

在这里插入图片描述

推导过程

在这里插入图片描述

由上式可知，X为m*（n+1）维的矩阵，Y为m*1维的矩阵，最后一个矩阵少写了一项。

在这里插入图片描述

样例

在这里插入图片描述

代码如下：
# 线性回归（标准方程法）
import numpy as np
import matplotlib.pyplot as plt


def loadDataSet(filename):
    # numFeat = len(open(filename).readline().split())
    dataSet = []
    Labels = []
    for line in open(filename).readlines():
        dataSet.append([float(line.split()[0]), float(line.split()[1])])
        Labels.append(float(line.split()[-1]))
    return dataSet, Labels


def standRegres(xArr, yArr):
    xMat = np.mat(xArr)
    yMat = np.mat(yArr).T  # 先转换成n行一列
    temp = (xMat.T * xMat)
    if np.linalg.det(temp) == 0.0:  # 判断行列式是否为0
        print("行列式为0，无法计算")
        return
    else:
        w = temp.I * xMat.T * yMat
    return w


def draw():
    dataSet, Labels = loadDataSet("./Data/ex0.txt")
    plt.scatter([x[1] for x in dataSet], Labels)
    plt.plot([x[1] for x in dataSet], (np.mat(dataSet) * standRegres(dataSet, Labels)).T.tolist()[0])  # 矩阵转列表
    plt.show()


dataSet, Labels = loadDataSet("./Data/ex0.txt")
print(standRegres(dataSet, Labels))
# 计算出的w
draw()
print(np.corrcoef(np.mat(Labels), (np.mat(dataSet) * standRegres(dataSet, Labels)).T))  # 计算相关系数

拟合后的结果如下

在这里插入图片描述

局部加权回归

线性回归的问题是可能出现欠拟合现象，而解决这种现象的比较常见的方法就是局部加权线性回归，在该方法中，我们给带测点附近每个点都引入一个权重。

在这里插入图片描述

一看就知道，这个拟合过于勉强，不合格，我们可以用微积分的思想，将之分成小块，拟合效果就会得到很大的增强。

在这里插入图片描述

因此，与之对应的，回归系数形式如下：

在这里插入图片描述

其中，w表示为

在这里插入图片描述

显然，k值越大，w变化的越慢，反之越快，也就是k值越大，x(i)受附近点影响越小，可能产生欠拟合，k值约小，x(i)受附近点影响越大，可能产生过拟合。

代码

# 局部加权线性回归
import numpy as np
import matplotlib.pyplot as plt


def loadDataSet(filename):
    # numFeat = len(open(filename).readline().split())
    dataSet = []
    Labels = []
    for line in open(filename).readlines():
        dataSet.append([float(line.split()[0]), float(line.split()[1])])
        Labels.append(float(line.split()[-1]))
    return dataSet, Labels


# 得到某个点的预测值
def lwlr(testpoint, dataSet, Labels, k):
    xMat = np.mat(dataSet)
    yMat = np.mat(Labels)
    m = np.shape(xMat)[0]
    weights = np.mat(np.eye(m))
    for j in range(m):
        diffMat = testpoint - xMat[j, :]
        # 取矩阵中某一特定的值应该写在一个[]里，不能分开写
        #   a = np.array([[1,2],[2,3]])
        # print(a[0][1])
        # 2
        # a = np.mat([[1,2],[2,3]])
        # print(a[0,1])
        # 2

        weights[j, j] = np.exp(diffMat * diffMat.T / (-2 * (k ** 2)))
    xTx = xMat.T * weights * xMat
    if np.linalg.det(xTx) == 0.0:
        print("行列式为0，不能求逆")
        return
    ws = xTx.I * xMat.T * weights * yMat.T
    return testpoint * ws


# 得到所有的预测值
def lwlrTest(textArr, xArr, yArr, k=0.01):
    m = np.shape(textArr)[0]
    yHat = np.zeros(m)
    for i in range(m):
        yHat[i] = lwlr(xArr[i], xArr, yArr, k)
    return yHat


def draw():
    dataSet, Labels = loadDataSet("./Data/ex0.txt")
    plt.scatter([x[1] for x in dataSet], Labels)
    # 由于得到的结果是曲线，因此要对x轴进行排序
    xIndex = np.array([x[1] for x in dataSet]).argsort()  # 返回x排序后的下标
    xSort = np.array([x[1] for x in dataSet])[xIndex]
    ySort = lwlrTest(dataSet, dataSet, Labels,0.01)[xIndex]
    plt.plot(xSort, ySort, 'r')
    plt.show()


dataSet, Labels = loadDataSet("./Data/ex0.txt")
draw()
print(lwlrTest(dataSet, dataSet, Labels, 0.01))
# [ 3.12204471  3.73284336  4.69692033  4.25997574  4.67205815  3.89979584
#   3.64981617  3.06462993  3.23234485  3.24169633  3.42741618  4.10707034
#   4.24787613  3.40879727  4.65288661  4.03784328  3.61542726  3.25787329
#   4.08932965  3.39783761  3.12629106  3.12106493  4.57784181  4.22499774
#   3.03329674  3.57546269  3.07586196  3.36765021  4.05435451  3.92530073
#   3.08411123  3.22212205  3.95125595  4.53636662  4.63368585  3.47279924
#   3.67613549  4.48770772  3.70250157  4.54964976  3.29004763  4.13549978
#   3.45441958  3.39926586  3.9452161   3.08816389  3.62751621  3.84688831
#   3.84428111  4.35125277  4.31315478  3.43422203  3.31571015  4.3785447
#   3.57384393  3.58150337  3.7748906   4.18601319  4.00967978  3.52940957
#   3.25875168  4.19859322  4.23146773  4.13867447  3.21901745  4.0561676
#   3.65354789  3.66128122  4.325913    3.2040255   3.20300481  4.13294306
#   3.43941808  4.69379223  3.50821162  4.6235812   3.5279148   3.47737983
#   3.48050144  3.30514953  3.27235     4.25119686  4.44639135  4.31574207
#   3.73569804  3.28217383  4.56339108  3.54148328  3.3488199   3.51093301
#   3.57813857  4.13735536  3.9977728   3.15137008  4.17283219  4.61871301
#   3.32921189  4.43940561  3.57243898  3.73152804  3.79828782  3.94136439
#   3.47899493  4.56628532  4.51160109  3.9733276   3.1197512   3.57661822
#   3.73123612  3.67842653  4.18508115  3.46974383  3.86130443  3.1210056
#   3.07220096  4.02363416  4.61429802  4.14613244  3.74472547  3.87129551
#   4.27883053  3.10557174  3.82647897  3.79897863  3.6139764   4.61780999
#   3.71504003  4.56915748  3.27243479  4.12131729  4.0529964   4.45536498
#   3.23319944  4.18302013  3.30977094  3.34551764  3.13135453  3.49307969
#   3.31583735  4.06166289  3.59160637  3.68319531  3.82205056  3.2672067
#   3.29857281  4.47854412  3.38678321  3.90341148  4.51777512  3.18751671
#   4.56478643  3.03242227  3.97026179  3.12394666  4.03112577  3.90977536
#   4.11231956  4.53650412  3.35367751  4.18823888  4.64293322  4.67257923
#   4.68364746  4.68880048  4.25604553  3.4371958   4.15197762  4.60125152
#   3.40639871  3.19458504  3.37689095  4.48312084  3.34094505  4.63318002
#   4.6577835   4.27264237  3.76316251  3.80539621  3.9389488   3.57651641
#   4.50851832  4.56653485  3.75661285  3.20488852  3.61653365  4.38980705
#   3.66379623  4.67402706  4.33220297  4.11436188  4.48354863  4.03319687
#   3.4399745   4.24675055  3.84489727  3.44303652  4.42193351  3.12605035
#   3.90132188  3.20415097]
值得注意的是，局部加权回归是对于每一个样本点，都利用计算回归系数的公式计算一次，每个样本点都有不同回归系数，因此效率可能会比较差，但是准确度很高。

拟合效果用红线表示

在这里插入图片描述

三克油啦！！！后面会写一篇梯度下降法处理回归问题的博客（关注哦）。。。

Wprofessor
关注
  • 8
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
局部加权线性回归
知难行更难
03-31 5194
1、方法论    局部加权线性回归（Local Weights Linear Regression）也是一种线性回归，不同的是，普通线性回归是全局线性回归，使用全部的样本计算回归系数。而局部加权线性回归，通过引入权值（核函数），在预测的时候，只使用与测试点相近的部分样本来计算回归系数。    值得一提，该方法与kNN思想类似，都是用最近的若干样本点来做。比如这样的曲线，用简单线性回归可以得到一条与...
局部加权回归
02-11 952
一、基本概念思路 局部加权回归是指我们在预测一个X所对应的Y值的时候，只采用在X周围的数据进行数据拟合，它不同于我们通常所讲的线性回归拟合。在线性回归拟合中我们尽可能的去减小cost function  使得其接近为0，但是如果我们的样本得到的数据函数图象为 图中线为求出的回归方程，那么在x的取值和真实差别很大，这个情况叫做欠拟合。那么我们怎么办呢。一种解决方案是我们只利用X周围的数据
局部加权回归（Lowess）算法详解
最新发布
酒酿小圆子呀～
05-15 1570
局部加权回归（Lowess）的大致思路是：以一个点xxx为中心，向前后截取一段长度为fracfracfrac的数据，对于该段数据用权值函数www做一个加权的线性回归，记xyxy​为该回归线的中心值，其中y\hat{y}y​为拟合后曲线对应值。对于所有的nnn个数据点则可以做出nnn条加权回归线，每条回归线的中心值的连线则为这段数据的Lowess曲线。
局部线性回归代码
weixin_38935192的博客
07-07 193
class LWLR(object): def __init__(self,k): self.k = k def fit(self,X,y): self.X = X self.y = y return self def predict(X): result = [] for example in X: prediction = _predict_single(example) result.append(p
局部加权的线性回归的matlab实现
09-09
局部加权的线性回归，使用matlab编写，有结果图 程序流程为 标准化 样本矩阵与输出向量 计算权重对角矩阵 梯度下降 反标准化 显示
机器学习实战线性回归局部加权线性回归笔记
LXYTSOS的专栏
10-18 7881
线性回归 用线性回归找到最佳拟合直线回归的目的是预测数值型数据，根据输入写出一个目标值的计算公式，这个公式就是回归方程（regression equation），变量前的系数（比如一元一次方程）称为回归系数（regression weights）。求这些回归系数的过程就是回归。假设输入数据存放在矩阵X X中，回归系数存放在向量w w中，那么对于数据X 1  X_1的预测结果可以用Y 1 =X T
实战（python）局部加权线性回归
05-05
与传统的全局线性回归不同，局部加权线性回归更注重在数据点附近进行预测，通过赋予附近的点更大的权重来构建一个局部的线性模型。这种方法可以更好地适应数据的局部特征，对于复杂或非线性的数据模式具有较好的适应...
线性回归实验数据.rar_southern12l_加权_回归_局部加权回归_局部加权线性回归
07-15
局部加权线性回归的实验数据 配套局部加权线性回归的代码
logistic回归和局部加权回归
05-10
上周讲专题时做的ppt
数据回归-连续时间局部线性回归的边界效应.pdf
06-25
连续时间局部线性回归是一种常用的非参数回归方法，它通过局部加权平均的方式来估计回归函数。然而，在实际应用中，经常会遇到边界效应的问题，即在自变量的边界点上，估计值会出现明显的偏差。 本文将对连续时间...
局部加权线性回归（内含代码）
wyl1813240346的博客
11-17 8528
在之前的博客中我们已经简单讨论过一些回归的算法，如使用假设和梯度下降法的单变量线性回归和多变量线性回归以及采用正规方程的线性回归，这次我们简单讨论一下局部加权线性回归（Local Weighted Liner Regression）。 局部加权回归可以看做正规方程的一种改进，通过上次博客中的代码，我们针对那个数据集会产生一个下图所示的拟合曲线： 从上面可以看出，该曲线拟合的效果不是很好，存在
线性回归——局部加权线性回归
CarryLvan的博客
11-12 3516
线性回归虽然简单，但是容易出现问题：就是“欠拟合”和“过拟合”，欠拟合是由于我们并不能很好的拟合我们的训练数据，导致出现较大的训练误差；而过拟合是由于我们过度拟合训练数据，导致我们的模型过度复杂而产生较大的测试误差。 如下图所示：左边的图就是欠拟合，很明显我们用直线是无法很好的拟合训练数据的，最右边的就是产生了过拟合，中间的曲线就是比较好的。 解决欠拟合我们可以增加额外的特征，或者增加多项式（如...
1.9 程序示例--局部加权线性回归-机器学习笔记-斯坦福吴恩达教授
赵继超的笔记
03-19 395
程序示例–局部加权线性回归 现在，我们在回归中又添加了 JLwr() 方法用于计算预测代价，以及 lwr() 方法用于完成局部加权线性回归： # coding: utf-8 # linear_regression/regression.py # ... def JLwr(theta, X, y, x, c): """局部加权线性回归的代价函数计算式 Args: ...
斯坦福CS229机器学习笔记-Lecture3 局部加权线性回归和 logistic regression
朝花&夕拾
06-28 1527
声明：此系列博文根据斯坦福CS229课程，吴恩达主讲 所写，为本人自学笔记，写成博客分享出来          博文中部分图片和公式都来源于CS229官方notes。          CS229的视频和讲义均为互联网公开资源Lecture3Lecture3的主要内容· Locally weighted linear regression（局部加权线性回归）· Probabilistic inte...
局部加权线性回归、最小二乘、逻辑回归、牛顿法
qq_45940507的博客
07-09 561
一、局部加权线性回归 由来及原理 原始线性回归目标函数： J(θ)=12Σi=1m(hθ(x(i))−y(i))2J(θ) = \frac12Σ_{i=1}^{m}(h_θ(x^{(i)}) - y^{(i)})^2J(θ)=21​Σi=1m​(hθ​(x(i))−y(i))2 局部加权线性回归目标函数： J(θ)=12Σi=1mω(i)(hθ(x(i))−y(i))2J(θ) = \frac12Σ_{i=1}^{m}\omega ^{(i)}(h_θ(x^{(i)}) - y^{(i)})^2J(θ)=2
统一社会信用代码校验（带加权因子）
z532463的博客
06-22 637
![/** 统一社会信用代码校验 @param Code @returns {boolean} @constructor */ function CheckSocialCreditCode(Code) { var patrn = /^[0-9A-Z]+$/; //18位校验及大写校验 if ((Code.length != 18) || (patrn.test(Code) == false)) { return false; } else { var Ancode; //统一社会信用代码的每一个值 var
matlab实现一元线性回归和多元线性回归
热门推荐
木羊的专栏
04-18 8万+
在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。   在实际经济问题中，一个变量往往受到多个变量的影响。例如，家庭消费支出，除了受家庭可支配收入的影响外，还受诸如家庭所有财富、物价水平、金融机构存款利息等多种因素的影响，表现在线性回归模型中的解释变
局部加权线性回归（附实战代码python）
ZHE
05-06 1万+
1.    前言：    我们知道线性回归的一个问题就是欠拟合，将不能取得很好的预测效果。因为它是具有最小均方误差的无偏估计。解决这个问题的方法就是允许在估计中一些偏差。其中一个非常有效的方法就是局部加权线性回归（LWLR）。2.    算法思想：    2.1.     比较线性回归：                2.2.    局部加权线性回归：（使用高斯核权重）              ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值