理解线性回归(一)——回归的思想

本文介绍了线性回归的基本思想,包括经典的线性回归、局部加权线性回归(LWLR)及其解决欠拟合的方法,并探讨了样本矩阵奇异时的小样本问题及解决方案。同时,提到了非线性回归模型,如CART回归树及其防止过拟合的剪枝策略。
摘要由CSDN通过智能技术生成

理解线性回归(一)——回归的思想


1. 经典的线性回归


    之前介绍的LR回归和SVM算法本质上都和回归有写关联,尤其是LR回归算法。回归的目的是预测数值型的目标值,其核心部分和我们中小学时候学习到的线性拟合是一样的,就是说,假如我们能够建立了回归背后的数学模型,我们便可以根据输入变量来预测输出量。这儿的数学模型就是回归方程,里面的系数就是回归系数。求解这些回归系数的过程就是回归。

    那么如何在给定一组输入x和输出y的情况下,求出回归系数w呢?一个常用的方法就是找出使误差最小的w,这里的误差是指预测y和真实y之间的差值,使用该误差的简单累加将使得正差值和负差值相互抵消。所以我们一般使用平方误差。

    那么根据上式,我们便可知:给定了数据集X和输出y,我们便可以求出回归系数w。Python代码如下。(注意:这里涉及到矩阵X的求逆运算,我们需要先判断X是否奇异,即如果X的行列式det(X)==0,那么我们是不可以求逆的,这个判断可以使用numpy模块中的linalg.det来计算行列式)

def standRegres(xArr,yArr):
    xMat = mat(xArr); yMat = mat(yArr).T
    xTx = xMat.T*xMat
    if linalg.det(xTx) == 0.0:  #计算矩阵X的行列式,判断X是否奇异,是否可以求逆
        print "This matrix is singular, cannot do inverse"
        return
    ws = xTx.I * (xMat.T*yMat)
   
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值