机器学习——Weak5.利用回归预测数值型数据

最新推荐文章于 2022-09-26 20:37:21 发布

学习语言的小怪兽

最新推荐文章于 2022-09-26 20:37:21 发布

阅读量387

点赞数

本文链接：https://blog.csdn.net/weixin_45774706/article/details/103613680

版权

本文探讨了利用回归预测数值型数据的方法，包括标准回归、局部加权线性回归、岭回归以及前向逐步回归。重点介绍了CART算法在树回归中的应用，详细阐述了回归树的切分、剪枝和叶节点生成过程。

摘要由CSDN通过智能技术生成

利用回归预测数值型数据

预测数值型数据：回归

线性回归
优点：结果易于理解，计算上不复杂
缺点：对非线性的数据拟合不好
适用数据类型：数值型和标称型数据

回归的一般方法
①收集数据：采用任意方法收集数据
②准备数据：回归需要数值型数据，标称型数据将被转成二值型数据
③分析数据：绘出数据的可视化二维图将有助于对数据做出理解和分析，在采用缩减法求得新回归系数之后，可以将新拟合线绘在图上作为对比
④训练算法：找到回归系数
⑤测试算法：使用R^2或者预测值和数据的拟合度，来分析模型的效果
⑥使用算法：使用回归，可以在给定输入的时候预测出一个数值，这是对分类方法的提升，因为这样可以预测连续型数据而不仅仅是离散的类型标签

标准回归函数和数据导入函数

def loadDataSet(fileName):      #general function to parse tab -delimited floats
    numFeat = len(open(fileName).readline().split('\t')) - 1 #get number of fields 
    dataMat = []; labelMat = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr =[]
        curLine = line.strip().split('\t')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        dataMat.append(lineArr)
        labelMat.append(float(curLine[-1]))
    return dataMat,labelMat

def standRegres(xArr,yArr):
    xMat = mat(xArr); yMat = mat(yArr).T
    xTx = xMat.T*xMat
    if linalg.det(xTx) == 0.0:
        print ("This matrix is singular, cannot do inverse")
        return
    ws = xTx.I * (xMat.T*yMat)
    return ws

局部加权线性回归函数

def lwlr(testPoint,xArr,yArr,k=1.0):
    xMat = mat(xArr); yMat = mat(yArr).T
    m = shape(xMat)[0]
    weights = mat(eye(m))
    for j in range(m):                      #next 2 lines create weights matrix
        diffMat = testPoint - xMat[j,:]     #
        weights[j,j] = exp(diffMat*diffMat.T/(-2.0*k**2))
    xTx = xMat.T * (weights * xMat)
    if linalg.det(xTx) == 0.0:
        print ("This matrix is singular, cannot do inverse")
        return
    ws = xTx.I * (xMat.T * (weights * yMat))
    return testPoint * ws

def lwlrTest(testArr,xArr,yArr,k=1.0):  #loops over all the data points and applies lwlr to each one
    m = shape(testArr)[0]
    yHat = zeros(m)
    for i in range(m):
        yHat