线性回归(最小二乘法)

1 线性回归

1.1 简单线性回归

在做决策时候,我们常常想知道某两个变量之间的准确关系,比如广告费用和销售收入之间,假设我们有他们的线性关系,那无需实践,通过广告费用就能预测能带来多少销售收入,为决策提供依据。所以,如果我们可以取得历史的数据,我们就能尝试利用统计方法来建立一个表示变量之间相互关系的方程,我们将这一统计方法称为回归分析。

  1. 因变量(y):把被预测的变量称为因变量。
  2. 自变量(x):把用来预测因变量的一个或多个变量称为自变量。
  3. 简单线性回归:它只包含一个自变量一个因变量,两者的关系可以用一条近似直线来表示。

1.2 简单线性回归模型

在这里插入图片描述

β0是回归直线的y轴截距,β1是斜率

1.2线性回归图像

在这里插入图片描述

1.3 如何求模型的参数呢?— 最小二乘法

在这里插入图片描述
在这里插入图片描述

2 简单线性回归的实现

2.1. 引入依赖

import numpy as np
import matplotlib.pyplot as plt

2.2. 导入数据(data.csv)

points = np.genfromtxt('data.csv', delimiter=',')

points[0,0]

# 提取points中的两列数据,分别作为x,y
x = points[:, 0]
y = points[:, 1]

# 用plt画出散点图
plt.scatter(x, y)
plt.show()

在这里插入图片描述

2.3. 定义损失函数

# 损失函数是系数的函数,另外还要传入数据的x,y
def compute_cost(w, b, points):
    total_cost = 0
    M = len(points)
    
    # 逐点计算平方损失误差,然后求平均数
    for i in range(M):
        x = points[i, 0]
        y = points[i, 1]
        total_cost += ( y - w * x - b ) ** 2
    
    return total_cost/M

2.4.定义算法拟合函数

# 先定义一个求均值的函数
def average(data):
    sum = 0
    num = len(data)
    for i in range(num):
        sum += data[i]
    return sum/num

# 定义核心拟合函数
def fit(points):
    M = len(points)
    x_bar = average(points[:, 0])
    
    sum_yx = 0
    sum_x2 = 0
    sum_delta = 0
    
    for i in range(M):
        x = points[i, 0]
        y = points[i, 1]
        sum_yx += y * ( x - x_bar )
        sum_x2 += x ** 2
    # 根据公式计算w
    w = sum_yx / ( sum_x2 - M * (x_bar**2) )
    
    for i in range(M):
        x = points[i, 0]
        y = points[i, 1]
        sum_delta += ( y - w * x )
    b = sum_delta / M
    
    return w, b

2.5. 测试

w, b = fit(points)

print("w is: ", w)
print("b is: ", b)

cost = compute_cost(w, b, points)

print("cost is: ", cost)
w is:  1.3224310227553846
b is:  7.991020982269173
cost is:  110.25738346621313

2.6. 画出拟合曲线

plt.scatter(x, y)
# 针对每一个x,计算出预测的y值
pred_y = w * x + b

plt.plot(x, pred_y, c='r')
plt.show()

在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值