线性回归与岭回归python代码实现

最新推荐文章于 2024-08-14 18:06:05 发布

一路前行1

最新推荐文章于 2024-08-14 18:06:05 发布

阅读量2w

点赞数 12

本文链接：https://blog.csdn.net/weiyongle1996/article/details/77743815

版权

本文介绍了线性回归、局部加权线性回归和岭回归的原理及Python代码实现。线性回归通过最小二乘法求解参数；局部加权线性回归增加权值以更好地拟合非线性数据；岭回归通过引入正则项解决矩阵奇异问题，改善模型性能。代码示例基于Python3.6环境，适用于《机器学习实战》中的数据。

摘要由CSDN通过智能技术生成

一、标准线性回归

在线性回归中我们要求的参数为：

详细的推导可以参见：http://blog.csdn.net/weiyongle1996/article/details/73727505

所以代码实现主要就是实现上式，python代码如下：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# implement stand regress
def standRegress(xArr,yArr):
    # 将数组转换为矩阵
    xMat = np.mat(xArr)
    yMat = np.mat(yArr)
    xTx = xMat.T * xMat # 计算xTx的
    if np.linalg.det(xTx) == 0.0:
        print('xTx不能求逆矩阵')
        return
    theta = xTx.I * (xMat.T * yMat)
    yHat = xMat*theta
    return yHat

# import data
ex0 = np.loadtxt('ex0.txt',delimiter='\t')

# deal with data
xArr = []
yArr = []
for data in ex