机器学习_最小二乘法，线性回归与逻辑回归

最新推荐文章于 2024-09-22 19:58:36 发布

xieyan0811

最新推荐文章于 2024-09-22 19:58:36 发布

阅读量7.1k

点赞数

分类专栏：机器学习文章标签：线性回归逻辑回归最小二乘

本文链接：https://blog.csdn.net/xieyan0811/article/details/78562610

版权

机器学习专栏收录该内容

40 篇文章 9 订阅

订阅专栏

1. 线性回归

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。
直观地说，在二维情况下，已知一些点的X,Y坐标，统计条件X与结果Y的关系，画一条直线，让直线离所有点都尽量地近（距离之和最小），用直线抽象地表达这些点，然后对新的X预测新的Ｙ。具体实现一般使用最小二乘法。

线性回归

线性回归的优点是理解和计算都相对简单，缺点是无法解决非线性问题。

2. 最小二乘法

1) 原理

最小二乘法（ordinary least squares，简称OLS）的核心就是保证所有数据偏差的平方和最小（“平方”的在古时侯的称谓为“二乘”）。
如果有一个变量，我们用直线拟合一些点，直线方是y’=ax+b，每点偏差是y-y’，其中y是实际值，y’是估计值。sum((y-y’)^{2)最小时，直线拟合最好。上试代入y’，可得M=sum((y-(ax+b))}2)，对它求导取极值。此时，x,y是已知的，未知的是a和b，所以分别求M对a和b的偏导，解出的a,b即回归系数，记作W。线性回归就是计算参数W的过程。有了Ｗ，就能将Ｙ表示成多属性的加权线性组合。
假设有两个变量(多元回归)y’=w0+w1x1+w2x2，就变成了一个三维的问题，同样也用误差平方最小的方法M=sum((y’-(w0+w1x1+w2x2))^2)，Ｍ对w0,w1,w2的偏导为0处是极值，然后解出w0,w1,w2。更多元的情况见下面的公式推导。
预测时，用回归系数乘以输入值，再将结果加在一起就得到了预测值，一般用矩阵乘法实现。

2) 公式推导

通过矩阵运算求解回归系数的W={w0,w1,w2…}

3. 线性回归代码实现

# -*- coding: utf-8 -*-

import numpy as np
import matplotlib.pyplot as plt

# 训练
def standRegres(xArr,yArr):  
    m,n = np.shape(xArr)
    xMat = np.mat(np.ones((m, n+1))) # 加第一列设为1，为计算截距
    x = np.mat(xArr)
    xMat[:,1:n+1] = x[:,0:n];
    yMat = np.mat(yArr).T  
    xTx = xMat.T*xMat  
    if np.linalg.det(xTx) == 0.0:  
        print("This matrix is sigular, cannot do inverse") #行列式的值为0，无逆矩阵
        return  
    ws = xTx.I*(xMat.T*yMat)  
    return ws  

# 预测
def predict(xArr, ws):
    m,n = np.shape(xArr)
    xMat = np.mat(np.ones((m, n+1))) # 加第一列设为1, 为计算截距
    x = np.mat(xArr)
    xMat[:,1:n+1] = x[:,0:n];
    return xMat*ws

if __name__ == '__main__':
    x = [[1], [2], [3], [4]]
    y = [4.1, 5.9, 8.1, 10.1]
    ws = standRegres(x,y)
    print(ws)
    print(predict([[5]], ws))

    # 画图
    plt.scatter(x, y, s=20)
    yHat = predict(x, ws)
    plt.plot(x, yHat, linewidth=2.0, color='red') 
    plt.show()

注意：回归系数的个数应该比属性多一个，用于表示截距，在sklearn中也是这样，只不过截距相关的放在intercept_中，其它放在coef_中。