【算法】线性回归

序

我在思考要怎么学习回归算法，最基础的是线性回归（linear regression），那么或许还是从这一个部分入手

基础知识补充

概念

$y=\omega x_i+b$

$y={\omega }_1{x}_1+...+{\omega }_d{x}_d+b$

$$\begin{array}{rl}({\omega }^{\ast },b^{\ast })& =\text{arg}\underset{(\omega ,b)}{\min }\sum _{i=1}^{m}f((x_i)-y_i{)}^2\\ & =\text{arg}\underset{(\omega ,b)}{\min }\sum _{i=1}^m(y_i-\omega x_i-b{)}^2\end{array}$$

线性回归

线性回归（Linear Regression）：通过拟合一条直线（或高维空间中的超平面）来建立输入特征和输出之间的线性关系。

应用场景

线性回归是一种常见的统计学习方法，适用于以下多种应用场景：

• 经济学：在经济学中，线性回归常被用于分析商品价格与需求量、劳动力市场的供求关系、国内生产总值与消费者支出之间的关系等。
• 金融学：线性回归可用于预测股票价格、货币汇率、利率等金融指标，以及评估不同因素对投资组合收益的影响。
• 医学：线性回归可用于分析药物剂量与疗效、生活方式与健康指标、环境因素与疾病发生率等医学研究问题。
• 社会科学：线性回归可用于分析社会调查数据，如教育水平与收入、人口结构与犯罪率之间的关系。
• 市场营销：线性回归可用于预测销售量、市场份额，以及分析广告投入与销售额之间的关系。
• 环境科学：线性回归可用于分析气候变化趋势、环境污染与健康影响等环境科学问题。
• 工程：在工程领域，线性回归可用于预测材料强度、构件的寿命、能源消耗等。
• 地球科学：线性回归可用于分析地震活动、气候变化、海洋污染等地球科学领域的问题。

应用实例

2017年高教社杯全国大学生数学建模竞赛题目 C 题

• 对附件Data2.xls中的数据，建立颜色读数和物质浓度的数学模型，并给出模型的误差分析。

数据来源：全国数学建模大赛

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

# 创建数据字典
data = {

}

# 创建 DataFrame
df = pd.DataFrame(data)

# 提取自变量和因变量  
X = df[['']]
y = df[['']]  

# 创建并训练线性回归模型
model = LinearRegression()
model.fit(X,y)


# 绘制数据散点图和线性回归模型
plt.scatter(X, y, color='blue')
plt.plot(X, model.predict(X), color='red', linewidth=2)
plt.xlabel('ppm')
plt.ylabel('B')
plt.title('线性回归模型拟合')
plt.show()

多元线性回归

多元线性回归（Multivariate Linear Regression） 有多个自变量与一个因变量之间的关系被建模为线性的形式。