线性回归算法梳理

目录

1、机器学习基本概念

2、线性回归原理

3、优化方法

4、线性回归的评估指标

5、sklearn参数详解

---

1、机器学习基本概念

监督学习：KNN、线性回归、逻辑回归、SVM、决策树和随机森林、神经网络

无监督学习：K-means、聚类分析、可视化和降维-PCA、关联性规则学习

泛化能力：Generalization Ability，是指指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。

过拟合：把不该学的噪声的特征也学到了，在后期测试的时候不能很好地识别数据，模型泛化能力差。

随着模型训练的进行，模型的复杂度会增加，此时模型在训练数据集上的训练误差会逐渐减小，但是在模型的复杂度达到一定程度时，模型在验证集上的误差反而随着模型的复杂度增加而增大。此时便发生了过拟合，即模型的复杂度升高，但是该模型在除训练集之外的数据集上却不work。