线性回归（代码部分）

最新推荐文章于 2023-10-11 11:25:51 发布
最新推荐文章于 2023-10-11 11:25:51 发布
阅读量387 收藏 4
点赞数 2
分类专栏： 机器学习 All
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jk_chen_acmer/article/details/102990950
版权

using python

所有代码都是通过理论自己写出来的，实属不易。出结果的时候那个激动啊！
线性回归理论：https://blog.csdn.net/jk_chen_acmer/article/details/102973678

产生随机数据

import numpy as np
import matplotlib.pyplot as plt
import copy

# 获取随机数据
# X：m*n，第一列默认为1
# Y：m*1
# y=5+3.14x浮动1单位

def getData():
    m = 40
    n = 2
    X = np.mat(np.ones([m, n], float))
    Y = np.mat(np.ones([m, 1], float))

    X = X.T
    for i in range(1, n):
        X[i] = np.random.random(m) * 10
    X = X.T

    for i in range(0, m):
        Y[i, 0] = 5 + 3.14 * X[i,1]
        Y[i, 0] += 1 - np.random.rand(1)[0] * 2
    return [X, Y]

# 画出数据点 , 以及预测函数

def draw(X, Y, linear=None):
    m = X.shape[0]
    n = X.shape[1]

    fig = plt.figure()
    ax = fig.add_subplot(1, 1, 1)
    ax.set(xlim=[0, 10], ylim=[0, 40],
           title='Data', ylabel='y', xlabel='x')
    ax.xaxis.set_ticks_position('bottom')
    ax.spines['bottom'].set_position(('data', 0))  # x轴：y=0

    for i in range(0, m):
        ax.plot(X[i, 1], Y[i, 0], '.k')
    plt.show()


if __name__ == '__main__':
    data = getData()
    draw(data[0], data[1])

随机生成数据如下：
在这里插入图片描述

线性回归……梯度下降算法

基于向量化运算

import numpy as np
import matplotlib.pyplot as plt
import copy


# 获取随机数据
# X：m*n，第一列默认为1
# Y：m*1
# y=5+3.14x浮动1单位

def getData():
    m = 40
    n = 2
    X = np.mat(np.ones([m, n], float))
    Y = np.mat(np.ones([m, 1], float))

    X = X.T
    for i in range(1, n):
        X[i] = np.random.random(m) * 10
    X = X.T

    for i in range(0, m):
        Y[i, 0] = 5 + 3.14 * X[i, 1]
        Y[i, 0] += 1 - np.random.rand(1)[0] * 2
    return [X, Y]


# 获取预测值：  Th：1*n  X：1*n

def getH(Th, X):
    return (Th * X.T)[0, 0]


# 梯度下降法
# 数据集：  X：m*n   Y：m*1

def gradientDescent(X, Y):
    m = X.shape[0]
    n = X.shape[1]
    rate = 5e-3  # 学习速率

    Th = np.mat(np.ones([1, n], float))  # 系数Th：1*n

    preJ = 0  # 通过Th和X计算代价函数J
    for i in range(0, m):
        preJ += (getH(Th, X) - Y[i, 0]) ** 2
    preJ /= 2 * m

    while 1:
        Old = copy.copy(Th)
        for i in range(0, m):
            Th -= rate / m * (getH(Old, X[i]) - Y[i, 0]) * X[i]  # 梯度下降
        J = 0  # 通过theta和x计算代价函数J的值
        for i in range(0, m):
            J += (getH(Th, X) - Y[i, 0]) ** 2
        J /= 2 * m
        if (abs(J - preJ) < 1e-5):  # 代价函数差异判断收敛
            break
        print(J)
        preJ = J
    return Th  # 返回预测函数参数向量


# 画出数据点 , 以及预测函数

def draw(X, Y, Th=None):
    m = X.shape[0]
    n = X.shape[1]

    fig = plt.figure()
    ax = fig.add_subplot(1, 1, 1)
    ax.set(xlim=[0, 10], ylim=[0, 40],
           title='Data', ylabel='y', xlabel='x')
    ax.xaxis.set_ticks_position('bottom')
    ax.spines['bottom'].set_position(('data', 0))  # x轴：y=0

    for i in range(0, m):
        ax.plot(X[i, 1], Y[i, 0], '.k')
    if np.all(Th != None):
        x = np.linspace(0, 10, 100)
        y = []
        for i in range(0, 100):
            y.append(getH(Th, np.mat([1, x[i]])))  # 所有特征值
        ax.plot(x, y)
    plt.show()


if __name__ == '__main__':
    data = getData()
    Th = gradientDescent(data[0], data[1])
    print(Th)
    draw(data[0], data[1], Th)

运行结果：
在这里插入图片描述

线性回归……非线性情况

使用到特征缩放

import numpy as np
import matplotlib.pyplot as plt
import copy


# 获取随机数据
# X：m*n，第一列默认为1
# Y：m*1
# y=3(x-5)^2-5浮动1单位

def getData():
    m = 40
    n = 3
    X = np.mat(np.ones([m, n], float))
    Y = np.mat(np.ones([m, 1], float))

    X = X.T
    for i in range(1, n):
        X[i] = np.random.random(m) * 10
    X = X.T

    for i in range(0, m):
        Y[i, 0] = 3 * (X[i, 1] - 5) ** 2 - 5
        X[i, 2] = X[i, 1] ** 2 / 10
        Y[i, 0] += 1 - np.random.rand(1)[0] * 2
    return [X, Y]


# 获取预测值：  Th：1*n  X：1*n

def getH(Th, X):
    return (Th * X.T)[0, 0]


# 梯度下降法
# 数据集：  X：m*n   Y：m*1

def gradientDescent(X, Y):
    m = X.shape[0]
    n = X.shape[1]
    rate = 3e-3  # 学习速率

    Th = np.mat(np.ones([1, n], float))  # 系数Th：1*n

    preJ = 0  # 通过Th和X计算代价函数J
    for i in range(0, m):
        preJ += (getH(Th, X[i]) - Y[i, 0]) ** 2
    preJ /= 2 * m

    while 1:
        Old = copy.copy(Th)
        for i in range(0, m):
            Th -= rate / m * (getH(Old, X[i]) - Y[i, 0]) * X[i]  # 梯度下降
        J = 0  # 通过theta和x计算代价函数J的值
        for i in range(0, m):
            J += (getH(Th, X[i]) - Y[i, 0]) ** 2
        J /= 2 * m
        if (abs(J - preJ) < 1e-5):  # 代价函数差异判断收敛
            break
        print(J)
        preJ = J
    return Th  # 返回预测函数参数向量


# 画出数据点 , 以及预测函数

def draw(X, Y, Th=None):
    m = X.shape[0]
    n = X.shape[1]

    fig = plt.figure()
    ax = fig.add_subplot(1, 1, 1)
    ax.set(xlim=[0, 10], ylim=[-7, 40],
           title='Data', ylabel='y', xlabel='x')
    ax.xaxis.set_ticks_position('bottom')
    ax.spines['bottom'].set_position(('data', 0))  # x轴：y=0

    for i in range(0, m):
        ax.plot(X[i, 1], Y[i, 0], '.k')
    if np.all(Th != None):
        x = np.linspace(0, 10, 100)
        y = []
        for i in range(0, 100):
            y.append(getH(Th, np.mat([1, x[i], x[i] ** 2 / 10]))) # 所有特征值
        ax.plot(x, y)
    plt.show()


if __name__ == '__main__':
    data = getData()
    Th = gradientDescent(data[0], data[1])
    print(Th)
    draw(data[0], data[1], Th)

运行结果：
在这里插入图片描述

线性回归……多个特征值

y = 5 + 3 x 1 + 6 x 2 − 5 x 3 + 10 x 4 − 12 x 5 y=5+3x1+6x2-5x3+10x4-12x5 y=5+3x1+6x2−5x3+10x4−12x5（上下浮动 2单位）

import numpy as np
import matplotlib.pyplot as plt
import copy


# 获取随机数据
# X：m*n，第一列默认为1
# Y：m*1
# y=5+3x1+6x2-5x3+10x4-12x5浮动1单位

def getData():
    m = 40
    n = 6
    X = np.mat(np.ones([m, n], float))
    Y = np.mat(np.ones([m, 1], float))

    X = X.T
    for i in range(1, n):
        X[i] = np.random.random(m) * 10
    X = X.T

    for i in range(0, m):
        Y[i, 0] += 5 + 3 * X[i, 1] + 6 * X[i, 2] - 5 * X[i, 3] + 10 * X[i, 4] - 12 * X[i, 5]
        Y[i, 0] += 1 - np.random.random(1)[0] * 2
    return [X, Y]


# 获取预测值：  Th：1*n  X：1*n

def getH(Th, X):
    return (Th * X.T)[0, 0]


# 梯度下降法
# 数据集：  X：m*n   Y：m*1

def gradientDescent(X, Y):
    m = X.shape[0]
    n = X.shape[1]
    rate = 5e-3  # 学习速率

    Th = np.mat(np.ones([1, n], float))  # 系数Th：1*n

    preJ = 0  # 通过Th和X计算代价函数J
    for i in range(0, m):
        preJ += (getH(Th, X) - Y[i, 0]) ** 2
    preJ /= 2 * m

    while 1:
        Old = copy.copy(Th)
        for i in range(0, m):
            Th -= rate / m * (getH(Old, X[i]) - Y[i, 0]) * X[i]  # 梯度下降
        J = 0  # 通过theta和x计算代价函数J的值
        for i in range(0, m):
            J += (getH(Th, X) - Y[i, 0]) ** 2
        J /= 2 * m
        if (abs(J - preJ) < 1e-5):  # 代价函数差异判断收敛
            break
        print(J)
        preJ = J
    return Th  # 返回预测函数参数向量


if __name__ == '__main__':
    data = getData()
    Th = gradientDescent(data[0], data[1])
    print(Th)

运行结果：

证明多个参数的线性回归也没有问题，甚至可以调高判断收敛的要求更加逼近，但是程序会跑很久。

[[  6.46117406   2.98766795   5.95135828  -5.01541145   9.98035538
  -11.97913789]]

线性回归……特征方程

很神奇，直接计算出最优解而不需要迭代

import numpy as np
import matplotlib.pyplot as plt
import copy


# 获取随机数据
# X：m*n，第一列默认为1
# Y：m*1
# y=3(x-5)^2-5浮动1单位

def getData():
    m = 40
    n = 3
    X = np.mat(np.ones([m, n], float))
    Y = np.mat(np.ones([m, 1], float))

    X = X.T
    for i in range(1, n):
        X[i] = np.random.random(m) * 10
    X = X.T

    for i in range(0, m):
        Y[i, 0] = 3 * (X[i, 1] - 5) ** 2 - 5
        X[i, 2] = X[i, 1] ** 2 / 10
        Y[i, 0] += 1 - np.random.rand(1)[0] * 2
    return [X, Y]


# 获取预测值：  Th：1*n  X：1*n

def getH(Th, X):
    return (Th * X.T)[0, 0]


# 特征方程解法
# 数据集：  X：m*n   Y：m*1

def ChEquation(X, Y):
    return (np.linalg.pinv(X.T * X) * X.T * Y).T


# 画出数据点 , 以及预测函数

def draw(X, Y, Th=None):
    m = X.shape[0]
    n = X.shape[1]

    fig = plt.figure()
    ax = fig.add_subplot(1, 1, 1)
    ax.set(xlim=[0, 10], ylim=[-7, 40],
           title='Data', ylabel='y', xlabel='x')
    ax.xaxis.set_ticks_position('bottom')
    ax.spines['bottom'].set_position(('data', 0))  # x轴：y=0

    for i in range(0, m):
        ax.plot(X[i, 1], Y[i, 0], '.k')
    if np.all(Th != None):
        x = np.linspace(0, 10, 100)
        y = []
        for i in range(0, 100):
            y.append(getH(Th, np.mat([1, x[i], x[i] ** 2 / 10]))) # 所有特征值
        ax.plot(x, y)
    plt.show()


if __name__ == '__main__':
    data = getData()
    Th = ChEquation(data[0], data[1])
    print(Th)
    draw(data[0], data[1], Th)

运行结果：
在这里插入图片描述

JK Chen
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
实验一_线性回归1
08-03
介绍：在本部分的实验中，需要你实现单变量线性回归代码和多变量线性回归代码。单变量线性回归：预测小吃店的利润。假设你是一家小吃店的老板，正在考虑不同的城市开设一个
Matlab计算回归系数的代码-IEP:在给定一组具有足够数据观测值和相关人口数据的研究的情况下，该软件可以估算马尔可夫模型系数。该软件实现了
05-27
Matlab计算回归系数的代码
应用回归分析（R语言）第二章 一元线性回归 部分习题代码.docx
05-22
应用回归分析R语言初学者
Python 算法：线性回归及相关公式推导 第4部分公式推导源代码
11-21
内容概要：文章《Python 算法：线性回归及相关公式推导》第4部分公式推导源代码。给有需要的小伙伴提供一个学习便利~~~ 适合人群：想了解Latex编码或需要文章第4部分推导过程的小伙伴 阅读建议：由于该代码是通过语雀编辑，在其他平台可能会有存在一定的不兼容现象，提供几个本次导入CSDN发现的问题：CSDN支持aligned，而语雀支持align。语雀在插入中选择公式，会出现一个编写框，在编写框写公式，支持空行；在CSDN中编写公式时$对或$$对之间不能有空行，否则识别不了是Latex公式。
线性回归及代码实现
小鱼的小窝
06-09 3619
线性回归
机器学习5-线性回归算法的代码实现
Aaron的博客
02-27 5081
机器学习第5天：掌握线性回归算法的代码实现！
线性回归（两种方式代码实现）
qq_37566138的博客
03-18 4203
方式一：最小二乘法（正规方程） 公式推导 其中： 代码实现： 1.导入库 import numpy as np from sklearn.datasets import load_boston boston = load_boston() x = boston.data y = boston.target 2.由于我们的特征中没有1，所以需要插入1 然后我们需要把1和特征放在一起 X_b = np.hstack([np.ones((len(x),1)),x] 3.用正规方程求解参数 thet
机器学习之线性回归（包含代码案例）
m0_60307882的博客
03-30 6455
机器学习之线性回归 （损失函数、梯度下降法、代码实例）
【机器学习】线性回归代码实现
m0_67463447的博客
10-10 2422
求y=x^2+2x+5的最小值# 画函数图像#初始化x，α和迭代次数x = 3# y的导数为2x+2，迭代求theta#输出x的值print(x)n = data.shape[1]-1 # 特征数,减去实际值X = data[:,0:n] # 所有行 从0开始到ny = data[:,-1].reshape(-1,1) # s所有行取最后一列。
线性回归代码实现
lady_chen的博客
04-26 1318
线性回归代码实现--最小二乘法和梯度下降
第九章 非线性回归 部分习题代码（2）.docx
05-22
应用回归分析
第九章 非线性回归 部分习题代码（1）.docx
05-22
应用回归分析
动手学深度学习——线性回归（原理解释+代码详解）
qq_38473254的博客
07-14 3336
线性回归模型：y=wx+bdef linreg(X , w , b) : #@save """线性回归模型""" return torch . matmul(X , w) + b采取平方损失函数将y的形状统一为y_hat# y_hat是预测值, y是真实值 def squared_loss(y_hat , y) : #@save """均方损失""" # 返回平方误差 return(y_hat - y . reshape(y_hat . shape)) ** 2 / 2。
Python实现线性回归（公式推导+源代码）
11-11 1万+
写这篇文章之前，首先要对自己做一个小小的反思，很多时候在学习新技术的时候，看到出了什么什么框架，在这个框架上什么什么方法可以直接拿过来用，这样的好处就是我们可以减少写代码量，几个函数就可以帮我们解决需要写几十行代码才能解决的问题。这样看起来很好是建立在你对这个函数的底层有一个深入研究，如果你是一个新手，第一次你可能在网上查阅资料明白一个大概，但是你下次还是不会，究其原因：知其然，而不知其所以然。 对我而言，我身上也存在着这种通病，为了能：知其然，知其所以然。于是乎，我打算在学习机器学习算法的过程中，不调用
线性回归算法（含示例代码）
不负时光可怜人
06-12 2128
是 Scikit-learn 模块中的一个子模块，用于实现各种线性模型。该模块中包含许多用于线性回归、岭回归、Lasso回归等任务的类和函数，是Scikit-learn中最基础、最常用的模块之一。这里我们使用第一个最小二乘法线性回归模型，下方看个示例。
机器学习之线性回归算法Linear Regression（python代码实现）
记录知识，学习分享
05-21 2万+
线性回归（Linear Regression）是一种非常简单、用处非常广泛、含义也非常容易理解的一类经典的算法，非常合适作为机器学习的入门算法。 线性回归就是拟合出一个线性组合关系的函数。要找一条直线，并且让这条直线尽可能地拟合所有数据点。即：试图找到一条直线，使所有样本到直线上的欧式距离之和最小。 一元线性回归（Linear Regression） 拟合出一个线性组合关系的函数：y = wx+b 。 拟合图像： 多元线性回归 多元线性回归比一元线性回归复杂，其组成的不是直线，而是一..
matlab实现一元线性回归和多元线性回归
热门推荐
木羊的专栏
04-18 8万+
在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。   在实际经济问题中，一个变量往往受到多个变量的影响。例如，家庭消费支出，除了受家庭可支配收入的影响外，还受诸如家庭所有财富、物价水平、金融机构存款利息等多种因素的影响，表现在线性回归模型中的解释变
机器学习-线性回归的各种操作代码
最新发布
zn2021220822的博客
10-11 420
机器学习-线性回归的各种操作代码
关于训练集、验证集、测试集及数据不同时的情况
jkchen's Haven
12-15 5067
定义 训练集用来拟合参数，验证集用来查看参数的好坏，测试集在完成后测试置信度确保不会出问题。 划分 传统的分法是把数据集分成训练集（70%）和测试集（30%），或者在需要交叉验证集时分为：训练集（60%）、交叉验证集（20%）、测试集（20%）。 但是现在是大数据时代，假设你的数据量大于100万，那么可以分成训练集（98%）、交叉验证集（1%）、测试集（1%）。因为10000个数据已经具有普遍性了...
matlab一元线性回归代码
06-28
下面是MATLAB的一元线性回归代码： 1.加载数据 首先，我们需要通过 load 函数来加载数据。这里我们使用 MATLAB 内置的鸢尾花数据集作为示例，代码如下： data = load('fisheriris.mat'); % 加载数据 x = data....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值