机器学习笔记

1.线性回归

线性回归是找出一组系数，使得这些系数与特征的线性组合尽可能接近目标值。在训练过程中，通过误差平方和来确定这些系数。

优点：

1.简单直观：易于理解和实现。

2.可解释性：容易解释，可以清楚的显示特征如何影响预测。

3.计算效率高：由于模型简单，计算效率高，易于处理大规模数据。

缺点：

处理非线性关系、高度复杂数据集或具有大量噪声的数据时效果不理想。

2.逻辑回归

逻辑回归是利用逻辑函数（通常Sigmoid函数）将线性回归模型的输出映射到0和1之间。

优点:

1.逻辑回归不仅能够提供分类结果，还能给出属于某个类别的概率。

2.计算效率相对较高，易于解释。

3.可扩展到多分类问题，并在许多不同领域都有应用。

缺点：

在处理非线性关系、特征间相互作用复杂或非常高维的数据时效果不佳。

3.决策树（可用于分类、回归、特征选择、复杂数据集）

决策树是将复杂的决策过程分解为一些列简单的决策，从而形成一个树状结构。在构建决策数时