机器学习 | 线性回归

线性回归 | 机器学习

本文从线性回归概念、回归模型、损失函数,线性回归模型对比、回归模型评估、回归模型拟合度调优阐释线性回归基础

基本概念

在机器学习中，线性回归是一种监督学习算法，用于建模输入变量和输出变量之间的线性关系。这种关系可以通过一个线性方程来表示，该方程描述了输入变量和输出变量之间的关系。

回归问题

• 定义： 回归问题是指通过拟合一个模型来预测一个或多个连续值输出的问题。在回归问题中，输入变量通常是数值型的，输出变量也是数值型的。
• 用途： 在回归问题中，我们会用一个模型来描述这些数据之间的关系，然后用这个模型来预测新数据的数值。

线性回归模型

• 定义： 线性回归模型是一种回归模型，它假设输入变量和输出变量之间存在线性关系。线性回归模型试图找到一条直线，使得这条直线尽可能地接近数据点，从而最小化模型预测值与真实值之间的差异。

• 公式: $y=w_0+w_1\ast x_1+w_2\ast x_2+...+w_n\ast x_n$

• 参数

  • 斜率 (权重)：$w_1,w_2,...,w_n$表示特征与目标变量之间的关系强度和方向
  • 截距 (偏置)：$w_0$表示在没有特征输入时目标变量的预测值
  • 目标（输出变量）： y 表示要预测的目标值。

损失函数

损失函数是机器学习中用来衡量模型预测值与真实值之间差异的一个函数。损失函数的值越小，表示模型的预测值与真实值越接近，模型的性能越好。在回归问题中，常用的损失函数是均方误差（MSE, Mean Squared Error）。

均方误差 (MSE)

• 定义：模型预测值与真实值之差的平方的均值
• 公式：$MSE=1/n\sum (y_i-\hat{y}$