线性回归（Linear Regression）

1. 理论知识

        线性回归是一种基本且广泛使用的监督学习算法，用于建立自变量（特征）和因变量（目标）之间的线性关系。目标是找到一条最佳拟合线，使得数据点到该线的距离最小化。

数学模型

目标函数

参数解读

实施步骤

1. 数据准备：

   • 收集数据。
   • 将数据分为训练集和测试集。

2. 数据预处理：

   • 处理缺失值。
   • 数据标准化或归一化（视情况而定）。

3. 建立模型：

   • 使用训练数据拟合线性回归模型。

4. 模型评估：

   • 使用测试数据评估模型性能。
   • 计算 、均方误差（MSE）等指标。

5. 预测：

   • 使用训练好的模型进行预测。

线性回归的Python实现

import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score

# 生成示例数据
np.random.seed(0)
X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)

# 数据分割为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建线性回归模型
lin_reg = LinearRegression()
lin_reg.fit(X_train, y_train)

# 进行预测
y_pred = lin_reg.predict(X_test)

# 模型评估
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)

print(f"Mean Squared Error: {mse}")
print(f"R^2 Score: {r2}")
print(f"Intercept: {lin_reg.intercept_}")
print(f"Coefficient: {lin_reg.coef_}")

# 可视化结果
plt.scatter(X_test, y_test, color='blue')
plt.plot(X_test, y_pred, color='red', linewidth=2)
plt.xlabel("X")
plt.ylabel("y")
plt.title("Linear Regression")
plt.show()

可视化展示

结果与解释

• Mean Squared Error (MSE): 衡量预测值与实际值之间的平均平方误差。值越小，模型性能越好。
•  Score: 决定系数，度量模型的拟合优度，范围从0到1，值越接近1，模型解释力越强。
• Intercept: 截距，即回归直线在y轴上的截距。
• Coefficient: 回归系数，即自变量每增加一个单位时，因变量的变化量。

在可视化结果中，蓝色点表示测试集的实际数据，红色线表示线性回归模型的预测结果。模型越好，红线越接近蓝点的分布。

通过上述实例，可以看到线性回归模型如何在数据中找到最佳拟合直线，并且通过MSE和  等指标评估模型性能。