线性回归 Linear Regression python实现（含最小二乘法、梯度下降）

最新推荐文章于 2024-09-14 13:58:53 发布

Simone Zeng

最新推荐文章于 2024-09-14 13:58:53 发布

阅读量4.4k

点赞数 1

分类专栏：机器学习文章标签：机器学习 python

本文链接：https://blog.csdn.net/weixin_43983838/article/details/108983332

版权

这篇博客介绍了线性回归的基础，包括最小二乘法和梯度下降的原理及Python实现。作者通过机器学习实践课的学习，详细阐述了如何确定权重w和截距b，以及在不同参数情况下的应用。同时，给出了使用Python代码构建线性回归模型的例子。

摘要由CSDN通过智能技术生成

这一系列的博客，主要是记录在学校的Machine Learning实践课中，一些学习的过程，以及自己补充的基础知识（以引用来表示）。原理在西瓜书上都有，因此本系列博客主要是用python来实现，会包含一些公式。
“机器学习就是自动找函数”

文章目录

regression基础

regression：函数的输出是一个数值（举例：stock market forecast, self-driving car, recommendation）
binary classification：二分类
generation：生成

给出label -> 函数的loss -> 机器自动找出loss最低的函数

在这里插入图片描述

1. 最小二乘法求解Linear Regression

最小二乘法 least square method：
最小二乘法通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

1.1 在LR中，我们的目的是确定w和b

（小写的Ω没找到，用w代替了），西瓜书的公式如下（带*是指的这个变量的解）：
在这里插入图片描述
以w为例，最后的求解公式为：

1.2 python代码实现

import numpy as np


def LinerRgressionLSQ(X , Y):
    """
    线性回归的最小二乘法实现
    X.T表示该矩阵的转置
    np.dot(X,Y)表示矩阵X和Y的乘积
    np.det(X)表示求矩阵X的行列式
    np.linalg.inv(X)表示numpy中用于求解矩阵逆
    """
    XTX = np.dot(X.T,X)
    if np.linalg.det(XTX) == 0.0:
        print("Can not resolve the problem")
        return
    W = np.dot(np.dot(np.linalg.inv(XTX), X.T), Y)
    return W