线性回归算法梳理1

• 机器学习的一些概念
  有监督学习、无监督学习
  根据数据是否拥有标记信息，学习任务可以分为有监督学习和无监督学习。

有监督学习：用已知某种或某些特性的样本作为训练集，以建立一个数学模型，再用已建立的模型来预测未知样本，此种方法称为有监督学习。
分类（离散）和回归（连续）属有监督学习；

无监督学习：根据类别样本（没有被标记）的训练样本解决模型识别中的各种问题。
聚类属无监督学习
泛化能力
学得模型应用于新样本的能力称为泛化能力
训练样本越多，得到关于“分布”D的信息越多，越有可能通过学习获得具有强泛化能力的模型。
过拟合欠拟合
过拟合：因为学习能力太好，把训练样本所包含的不太一般的特点当成所有潜在样本都会具有的一般性质，导致泛化性能下降的情况。
解决方法：①留出法——将数据集分成互斥的训练集和测试集
②交叉验证法——将数据集D分为k个大小相似的互斥子集，然后，每次用k-1个并集作为训练集，余下的那个子集作为测试集，这样，可以得到k组训练集和测试集，从而进行k次的训练和测试，最终返回K个测试结果的均值。

③ 自助法——在m个数据集中采样组成训练集，数据集\训练集用作测试集的方法。适用数据集较小，难以区分训练集/测试集的情况

欠拟合：因为学习能力太差，