回归（1）- 线性回归、局部加权线性回归

最新推荐文章于 2022-04-09 23:37:08 发布

勤奋的小学生

最新推荐文章于 2022-04-09 23:37:08 发布

阅读量1.4k

点赞数

分类专栏：机器学习算法文章标签：机器学习 python 线性回归局部加权线性回归笔记

本文链接：https://blog.csdn.net/gyt15663668337/article/details/84313833

版权

机器学习算法专栏收录该内容

4 篇文章 1 订阅

订阅专栏

一、线性回归（Linear Regression）

线性回归一般用来做预测，预测数值型的目标值，基本思想是有一个目标值的公式，然后依据数据，得到预测的目标值。

例如： $y = w_{0}x_{0} + w_{1}x_{1}$

其中， $w_{0},w_{1}$ 称作回归系数， $x_{0},x_{1}$ 是输入特征，y为目标预测值。

我们的目标是找到合适的回归系数，求出回归方程。假定输入数据存放在矩阵x中，回归系数存放在向量w中。对于给定的数据 $x_{1}$ ，预测结果将会通过 $Y_{1} = X_{1}^{T}w$ 给出。我们的目的就是找出合适的w。最常用的方法是找出使误差最小的w值，误差是指与测试和真实值之间的平方误差。

平方误差： $\sum_{i=1}^{m}(y_{i} - x_{i}^{T}w)$

用矩阵形式表示可以写成 $(y-Xw)^{T}(y-Xw)$ 。如果对w求导得到 $X^{T}(Y-Xw)$ ,令其等于0，得到w： $\hat{w} = (X^{T}X)^{-1}X^{T}y$ 为当前可以估计出册w的最优解。注意，这里存在对矩阵求逆的操作，因此，只有在逆矩阵存在时才使用。然而，矩阵是可能不存在的，所有需要在代码中作出判断。

用线性回归找到最佳拟合直线：

import numpy as np
import matplotlib.pyplot as plt

def loadDataSet(fileName):
    """ 对文件进行操作，将数据存储到列表中 """
    numFeat = len(open(fileName).readline().split('\t')) - 1
    dataMat = []
    labelMat = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr = []
        curLine = line.strip().split('\t')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        dataMat.append(lineArr)
        labelMat.append(float(curLine[-1]))
    return dataMat, labelMat

def standReegres(xArr, yArr):
    """ 运用解析法求w参数的值，使误差最小 """
    xMat = np.mat(xArr)
    yMat = np.mat(yArr).T
    xTx = xMat.T * xMat # X的转置乘X
    if np.linalg.det(xTx) == 0: # 判断行列式是否为0，为0则不能求逆
        print("这个矩阵是奇异矩阵，不能求逆矩阵")
        return
    ws = xTx.I * (xMat.T * yMat)  # 解析法求出误差最小的w
    return ws

def plotPhoto(dataMat, labelMat, w):
    xMat = np.mat(dataMat)
    yMat = np.mat(labelMat)
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(xMat[:,1].flatten().A[0], yMat.T[:,0].flatten().A[0])

    xCopy = xMat.copy() # 复制一份数据
    xCopy.sort(0) # 对数据进行排序
    yHat = xCopy * w  # 求出预测值
    ax.plot(xCopy[:,1],yHat)
    plt.show()
    return yHat, yMat
dataMat, labelMat = loadDataSet('ex0.txt')
ws = standReegres(dataMat, labelMat)
plotPhoto(dataMat, labelMat, ws)
xMat = np.mat(dataMat)
yMat = np.mat(labelMat)
yHat = xMat * ws
result = np.corrcoef(yHat.T, labelMat)
print(result)

[[ 1. 0.98647356]
[ 0.98647356 1. ]] 通过corrcoef函数来计算预测值和真实值的相关性，以此来评估模型yHat在真实值y序列的匹配程度。

二、局部加权线性回归（Locally Weighted Linear Regression，LWLR）

线性回归有一个问题就是容易出现过拟合现象，它求得是具有最小均方误差的无偏估计。这样会影响到一些预测效果。因此，我们可以在估计中引入一些偏差，从而降低均方误差。我们使用局部加权线性回归，给待预测点附近的每个点赋予一定的权重，然后在这个子集上基于最小均方差来进行普通的回归。这种方法，每次预测均需要选出对应的数据子集。

回归系数w的形式如下： $\hat{w} = (X^{T}WX)^{-1}X^{T}Wy$ ，其中，W是一个矩阵，用来给每个数据点赋予权重。

LWLR使用“核”来对附近的点赋予更高的权重。核有很多种，最常用的仍然是高斯核。计算方法为： $w(i,i) = exp(\frac{\left | x^{(i)}-x \right |}{-2k^{2}})$ ，构建了一个只含对角元素的权重矩阵w。点x与x(i)越近，w(i,i)将会越大。参数k决定了对附近的点赋予多大的权重。

import numpy as np
import matplotlib.pyplot as plt

def loadDataSet(fileName):
    """ 对文件进行操作，将数据存储到列表中 """
    numFeat = len(open(fileName).readline().split('\t')) - 1
    dataMat = []
    labelMat = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr = []
        curLine = line.strip().split('\t')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        dataMat.append(lineArr)
        labelMat.append(float(curLine[-1]))
    return dataMat, labelMat

def lwlr(testPoint, xArr, yArr, k=1.0):
    xMat = np.mat(xArr)
    yMat = np.mat(yArr).T
    m = np.shape(xMat)[0]
    weights = np.mat(np.eye(m)) # 创建对角矩阵
    for j in range(m):
        diffMat = testPoint - xMat[j, :]
        weights[j, j] = np.exp(diffMat*diffMat.T/(-2.0*k**2))
    xTx = xMat.T * (weights * xMat)
    if np.linalg.det(xTx) == 0.0:
        print("这是奇异矩阵，没有逆矩阵")
        return
    ws = xTx.I * (xMat.T * (weights * yMat)) # 解析法，求w
    return testPoint * ws

def lwlrTest(testArr, xArr, yArr, k=1.0):
    m = np.shape(testArr)[0]
    yHat = np.zeros(m)
    for i in range(m):
        yHat[i] = lwlr(testArr[i], xArr, yArr, k)
    return yHat

def plotPhoto(xArr, yArr, yHat):
    xMat = np.mat(xArr)
    srtInd = xMat[:, 1].argsort(0)
    xSort = xMat[srtInd][:,0,:]
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.plot(xSort[:, 1], yHat[srtInd])
    ax.scatter(xMat[:, 1].flatten().A[0], np.mat(yArr).T[:, 0].flatten().A[0], s=2, c='red')
    plt.show()


xArr, yArr = loadDataSet('ex0.txt')
yHat1 = lwlrTest(xArr, xArr, yArr, 1.0)
plotPhoto(xArr, yArr, yHat1)

yHat2 = lwlrTest(xArr, xArr, yArr, 0.01)
plotPhoto(xArr, yArr, yHat2)

yHat3 = lwlrTest(xArr, xArr, yArr, 0.003)
plotPhoto(xArr, yArr, yHat3)

分别为k = 1、k = 0.01、k = 0.003的时候的拟合效果，从图中我们可以看到k=0.01是拟合最好的效果，k = 0.003考虑了太多的噪声，产生了过拟合的现象。

三、案例：预测鲍鱼的年龄

from Linear_Regression.LR import *
from Linear_Regression.LWLR import *

def resError(yArr, yHatArr):
    return ((yArr - yHatArr) ** 2).sum()

abX, abY = loadDataSet('abalone.txt')
print("---------------------------------------------------")
print("abX[0:99]测试k在什么值时误差较小")
# 线性加权平均
yHat01 = lwlrTest(abX[0:99], abX[0:99], abY[0:99], 0.1)
yHat1 = lwlrTest(abX[0:99], abX[0:99], abY[0:99], 1)
yHat10 = lwlrTest(abX[0:99], abX[0:99], abY[0:99], 10)

err01 = resError(abY[0:99], yHat01.T)
print("k = 0.1 时的误差：", err01)

err1 = resError(abY[0:99], yHat1.T)
print("k = 1 时的误差：", err1)

err10 = resError(abY[0:99], yHat10.T)
print("k = 10 时的误差：", err10)

print("---------------------------------------------------")
print("abX[100:199]测试k在什么值时误差较小")
yHat01 = lwlrTest(abX[100:199], abX[0:99], abY[0:99], 0.1)
yHat1 = lwlrTest(abX[100:199], abX[0:99], abY[0:99], 1)
yHat10 = lwlrTest(abX[100:199], abX[0:99], abY[0:99], 10)

err01 = resError(abY[100:199], yHat01.T)
print("k = 0.1 时的误差：", err01)

err1 = resError(abY[100:199], yHat1.T)
print("k = 1 时的误差：", err1)

err10 = resError(abY[100:199], yHat10.T)
print("k = 10 时的误差：", err10)

print("---------------------------------------------------")
print("简单线性回归")
ws = standReegres(abX[0:99], abY[0:99])
yHat = np.mat(abX[100:199]) * ws
err = resError(abY[100:199], yHat.T.A)
print(err)

---------------------------------------------------
abX[0:99]测试k在什么值时误差较小
k = 0.1 时的误差： 56.7842091184
k = 1 时的误差： 429.89056187
k = 10 时的误差： 549.118170883
---------------------------------------------------
abX[100:199]测试k在什么值时误差较小
k = 0.1 时的误差： 25119.4591112
k = 1 时的误差： 573.52614419
k = 10 时的误差： 517.571190538
---------------------------------------------------
简单线性回归
518.636315325
从结果我们可以看到在abX[0:99]数据上k=0.1时，误差较小，在abX[100:199]数据上时，k=10误差较小。简单线性回归与局部加权线性回归似乎有类似的效果，我们必须在位置的数据上比较才能选取做好的模型。我们可以选择不同的样本做多次测试比较结果。局部线性加权的缺点就是每次必须在每个数据集上运行。造成了大量的计算。

注：本笔记的资料来自《机器学习实战》这本书

勤奋的小学生

关注

0
点赞
踩
11

收藏

觉得还不错? 一键收藏
0
评论
回归（1）- 线性回归、局部加权线性回归

一、线性回归（Linear Regression）线性回归一般用来做预测，预测数值型的目标值，基本思想是有一个目标值的公式，然后依据数据，得到预测的目标值。例如：其中，称作回归系数，是输入特征，y为目标预测值。我们的目标是找到合适的回归系数，求出回归方程。假定输入数据存放在矩阵x中，回归系数存放在向量w中。对于给定的数据，预测结果将会通过给出。我们的目的就是找出合适的w。最常用的方...
复制链接

扫一扫