序
我在思考要怎么学习回归算法,最基础的是线性回归(linear regression),那么或许还是从这一个部分入手
基础知识补充
概念
y = ω x i + b \ y= \omega x_i +b y=ωxi+b
y = ω 1 x 1 + . . . + ω d x d + b \ y= \omega_1x_1+...+ \omega_dx_d +b y=ω1x1+...+ωdxd+b
( ω ∗ , b ∗ ) = arg min ( ω , b ) ∑ i = 1 m f ( ( x i ) − y i ) 2 = arg min ( ω , b ) ∑ i = 1 m ( y i − ω x i − b ) 2 \begin{align*} (\omega^*,b^*) &= \text{arg} \min_{(\omega, b)} \sum_{i=1}^{m}f((x_i)-y_i)^2\\ &= \text{arg} \min_{(\omega, b)} \sum_{i=1}^{m}(y_i-\omega x_i-b)^2 \end{align*} (ω∗,b∗)=arg(ω,b)mini=1∑mf((xi)−yi)2=arg(ω,b)mini=1∑m(yi−ωxi−b)2
线性回归
线性回归(Linear Regression):通过拟合一条直线(或高维空间中的超平面)来建立输入特征和输出之间的线性关系。
应用场景
线性回归是一种常见的统计学习方法,适用于以下多种应用场景:
- 经济学:在经济学中,线性回归常被用于分析商品价格与需求量、劳动力市场的供求关系、国内生产总值与消费者支出之间的关系等。
- 金融学:线性回归可用于预测股票价格、货币汇率、利率等金融指标,以及评估不同因素对投资组合收益的影响。
- 医学:线性回归可用于分析药物剂量与疗效、生活方式与健康指标、环境因素与疾病发生率等医学研究问题。
- 社会科学:线性回归可用于分析社会调查数据,如教育水平与收入、人口结构与犯罪率之间的关系。
- 市场营销:线性回归可用于预测销售量、市场份额,以及分析广告投入与销售额之间的关系。
- 环境科学:线性回归可用于分析气候变化趋势、环境污染与健康影响等环境科学问题。
- 工程:在工程领域,线性回归可用于预测材料强度、构件的寿命、能源消耗等。
- 地球科学:线性回归可用于分析地震活动、气候变化、海洋污染等地球科学领域的问题。
应用实例
2017年高教社杯全国大学生数学建模竞赛题目 C 题
- 对附件Data2.xls中的数据,建立颜色读数和物质浓度的数学模型,并给出模型的误差分析。
数据来源:全国数学建模大赛
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
# 创建数据字典
data = {
}
# 创建 DataFrame
df = pd.DataFrame(data)
# 提取自变量和因变量
X = df[['']]
y = df[['']]
# 创建并训练线性回归模型
model = LinearRegression()
model.fit(X,y)
# 绘制数据散点图和线性回归模型
plt.scatter(X, y, color='blue')
plt.plot(X, model.predict(X), color='red', linewidth=2)
plt.xlabel('ppm')
plt.ylabel('B')
plt.title('线性回归模型拟合')
plt.show()
多元线性回归
多元线性回归(Multivariate Linear Regression) 有多个自变量与一个因变量之间的关系被建模为线性的形式。