简单记录常用五大机器学习模型

一、线性回归模型

线性回归模型是机器学习中一种基本且常用的回归预测模型。它主要用于预测连续值输出，例如房价、气温、用电量等。

1.1 基本原理

线性回归模型主要是尝试找到一种特征值（自变量）和目标值（因变量）之间的线性关系。模型的数学表达式为：

其中，是目标值，是特征值，是截距项，是的回归系数，是误差项。

📌线性回归模型的实现方法如下：

• 普通最小二乘法：最常用的线性回归估计方法，通过最小化残差平方和（损失函数）来估计回归系数。

• 梯度下降法：用于处理大规模数据集，通过迭代优化来找到损失函数的最小值。

• 正规方程：当特征数量不是很多时，可以使用正规方程直接计算回归系数。

1.2 模型的特点

• 简单直观：模型结构简单，易于理解和解释。

• 易于实现：线性回归模型容易实现，许多编程库都提供了线性回归的实现。

• 计算效率高：相对于复杂的机器学习模型，线性回归的计算效率较高。

1.3 模型的优缺点

• 优点：

  • 解释性强：模型参数（回归系数）可以解释特征对目标值的影响。

  • 训练速度快：线性回归模型训练速度快，适合于数据量不是很大的问题。

• 缺点：

  • 非线性关系：线性回归模型不能很好地处理特征与目标值之间的非线性关系。

  • 异常值敏感：线性回归对异常值比较敏感，异常值可能会对模型的预测性能产生较大影响。

  • 多重共线性：当特征之间存在高度相关性时，可能会影响回归系数的估计。

1.4 模型的应用场景

• 房价预测：根据房屋的大小、位置、年龄等特征预测房价。

• 销售预测：根据历史销售数据、市场趋势等信息预测未来的销售额。

• 医疗领域：预测疾病的发展，如根据病人的年龄、体重、血压等信息预测心