线形回归算法梳理

1. 一些概念
   **有监督：**不仅把数据丢给计算机，而且还把数据的分类结果（数据具有的标签）一并丢给计算机，计算机进行学习之后，再丢给它新的未知的数据，它也能计算出该数据导致各种结果的概率，给你一个最接近正确的结果。

**无监督：**只给计算机训练数据，不给结果（标签），因此计算机无法准确地知道哪些数据具有哪些标签，只能凭借强大的计算能力分析数据的特征，从而得到一定的成果，通常是得到一些集合，集合内的数据在某些特征上相同或相似。

**泛化性：**是指一个训练好的算法模型在处理未知新数据时的表现能力；

**过拟合：当某个模型过渡的学习了训练数据集中的细节和噪音，以至于模型在新的数据集上表现很差，称为发生过拟合了；这意味着训练集中的噪音或者随机波动也被当作概念被模型学习了，而问题在于这些概念不适用于新的数据，从而导致模型的泛化性能变差，过拟合更容易在无参数非线性模型中发生；

过拟合是一种分类器发生的现象，泛化能力是对算法模型性能的评价指标，过拟合表现为算法模型的高方差；

产生过拟合的原因：1.特征过多；2.数据量太少;3.模型复杂度高;
抵抗过拟合的方法：1.减小模型复杂度，2.尽量减少特征数量，3.增大数据量；4.正则化包括L1、L2正则化；