Python-sklearn-LinearRegression

2401_82889064

已于 2024-03-04 11:25:42 修改

阅读量1.3k

点赞数 28

分类专栏： sklearn 文章标签： python sklearn linear regression

于 2024-02-29 16:48:50 首次发布

本文链接：https://blog.csdn.net/2401_82889064/article/details/136373691

版权

sklearn 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

1 手动实现/使用sklearn实现线性回归训练

1.1 单特征线性回归（One Feature）

1.2 多特征线性回归（Multiple Features）

1.3 多项式线性回归（Polynomial）

1 手动实现/使用sklearn实现线性回归训练

1.1 单特征线性回归（One Feature）

假设函数（One feature）：

$h(x^{i}) = w * x^{i} + b$

损失函数（平方差损失MSE）：

$J(w, b) = \frac{1}{2m}\sum_{i=1}^{m}(h(x^{i}) - y^{i})^{2}$

优化器（梯度下降Gradient descent）：

$w: = w - \alpha \frac{\partial }{\partial w}J(w, b) = w - \alpha \frac{1}{m}\sum_{i=1}^{m}[(h(x^{i}) - y^{i}) * x^{i}]$

$b: = b - \alpha \frac{\partial }{\partial b}J(w, b) = b - \alpha \frac{1}{m}\sum_{i=1}^{m}(h(x^{i}) - y^{i})$

"""
@Title: linear_regression_with_one_feature
@Time: 2024/2/29
@Author: Michael Jie
"""

import random

import numpy as np
from sklearn.linear_model import LinearRegression

print("--------------------手动实现LinearRegression--------------------")
# 数据集，y = 2.7 * x + 1.9
x = np.random.uniform(-3, 3, (100, 1))
y = 2.7 * x + 1.9 + np.random.normal(0, 0.5, (100, 1))
m = len(x)

# 初始化训练参数
w, b = random.random(), random.random()
# 定义最小损失，学习率，最大训练轮次
epsilon, alpha, max_iter = 1e-4, 1e-2, 1e4

# 训练
num = 0  # 训练轮次
j_init = 0  # 用于计算两次训练损失的差值
while True:
    # 假设函数，单特征线性回归
    h = w * x + b
    # 损失，平方差损失函数
    j = 1 / (2 * m) * np.sum((h - y) ** 2)
    if abs(j - j_init) < epsilon or num > max_iter:
        break
    # 优化器，梯度下降
    w -= alpha * (1 / m * np.sum((h - y) * x))
    b -= alpha * (1 / m * np.sum(h - y))
    num += 1
    j_init = j
    if num % 100 == 0:
        print("第{num}次训练，损失为：{j}".format(num=num, j=j))
print("训练后参数为：({w}, {b})".format(w=w, b=b))
# 预测
print("输入10的预测值为：{y}".format(y=w * 10 + b))

print("--------------------使用sklearn实现LinearRegression--------------------")
linear = LinearRegression()
linear.fit(x, y)
print("训练后参数为：({w}, {b})".format(w=linear.coef_, b=linear.intercept_))
print("输入10的预测值为：{y}".format(y=linear.predict(np.array([[10]]))))

"""
--------------------手动实现LinearRegression--------------------
第100次训练，损失为：0.24785011069810353
第200次训练，损失为：0.12133612402719189
训练后参数为：(2.6975988345352375, 1.8337117307000714)
输入10的预测值为：28.809700076052447
--------------------使用sklearn实现LinearRegression--------------------
训练后参数为：([[2.68709722]], [1.93437403])
输入10的预测值为：[[28.80534627]]
"""

1.2 多特征线性回归（Multiple Features）

假设函数（Multiple Features）：

$h(x) = w_{1} * x_{1} + w_{2} * x_{2} + ... + w_{n} * x_{n} + b = w^{T} * x + b$

损失函数（平方差损失MSE）：

$J(w_{1},w_{2},...,w_{n}, b) = \frac{1}{2m}\sum_{i=1}^{m}(h(x^{i}) - y^{i})^{2}$

优化器（梯度下降Gradient descent）：

$w_{j} := w_{j} - \alpha \frac{\partial }{\partial w_{j}}J(w, b) = w_{j} - \alpha \frac{1}{m}\sum_{i=1}^{m}[(h(x^{i}) - y^{i}) * x_{j}^{i}]$

$b: = b - \alpha \frac{\partial }{\partial b}J(w, b) = b - \alpha \frac{1}{m}\sum_{i=1}^{m}(h(x^{i}) - y^{i})$

"""
@Title: linear_regression_with_multiple_features
@Time: 2024/2/29
@Author: Michael Jie
"""

import random

import numpy as np
from sklearn.linear_model import LinearRegression

print("--------------------手动实现LinearRegression--------------------")
# 数据集，y = 2.1 * x1 + 1.7 * x2 + 4.4
x = np.random.uniform(-3, 3, (100, 2))
y = np.dot(x, np.array([[2.1, 1.7]]).T) + 4.4 + np.random.normal(0, 0.5, (100, 1))
m = len(x)

# 初始化训练参数
w, b = [[random.random(), random.random()]], random.random()
w = np.array(w)
# 定义最小损失，学习率，最大训练轮次
epsilon, alpha, max_iter = 1e-4, 1e-3, 1e4

# 训练
num = 0  # 训练轮次
j_init = 0  # 用于计算两次训练损失的差值
while True:
    # 假设函数，单特征线性回归
    h = np.dot(x, w.T) + b
    # 损失，平方差损失函数
    j = 1 / (2 * m) * np.sum((h - y) ** 2)
    if abs(j - j_init) < epsilon or num > max_iter:
        break
    # 优化器，梯度下降
    w -= alpha * (1 / m * np.sum((h - y) * x))
    b -= alpha * (1 / m * np.sum(h - y))
    num += 1
    j_init = j
    if num % 100 == 0:
        print("第{num}次训练，损失为：{j}".format(num=num, j=j))
print("训练后参数为：({w}, {b})".format(w=w, b=b))
# 预测
print("输入(10, 20)的预测值为：{y}".format(y=np.dot(np.array([[10, 20]]), w.T) + b))

print("--------------------使用sklearn实现LinearRegression--------------------")
linear = LinearRegression()
linear.fit(x, y)
print("训练后参数为：({w}, {b})".format(w=linear.coef_, b=linear.intercept_))
print("输入(10, 20)的预测值为：{y}".format(y=linear.predict(np.array([[10, 20]]))))

"""
--------------------手动实现LinearRegression--------------------
第100次训练，损失为：6.917612630867695
第200次训练，损失为：5.128139537455417
...
第2300次训练，损失为：0.2550961384480396
第2400次训练，损失为：0.2423823553289109
训练后参数为：([[1.92022977 1.85815836]], 4.258528651534591)
输入(10, 20)的预测值为：[[60.62399361]]
--------------------使用sklearn实现LinearRegression--------------------
训练后参数为：([[2.09568973 1.68056098]], [4.45455187])
输入(10, 20)的预测值为：[[59.02266883]]
"""

1.3 多项式线性回归（Polynomial）

"""
@Title: linear_regression_with_polynomial
@Time: 2024/2/29 19:41
@Author: Michael
"""

import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures

# 数据集，y = 1.4 * x ** 2 - 3.1 * x + 2.6
x = np.random.uniform(-3, 3, (100, 1))
y = 1.4 * x ** 2 - 3.1 * x + 2.6 + np.random.normal(0, 0.5, (100, 1))

# 预处理数据集，将一元二次函数转化成三元一次函数，然后使用线性回归训练
poly = PolynomialFeatures(degree=2)
poly.fit(x)
x = poly.transform(x)
# 手动实现预处理
degree = np.array([[0, 1, 2]])
# x = x ** degree

# 回归训练
linear = LinearRegression()
linear.fit(x, y)
print("训练后参数为：({w}, {b})".format(w=linear.coef_, b=linear.intercept_))
print("输入10的预测值为：{y}".format(y=linear.predict(np.array([[1, 10, 100]]))))

"""
训练后参数为：([[ 0.         -3.1180901   1.40622675]], [2.62986504])
输入10的预测值为：[[112.07163862]]
"""