线性回归算法梳理

1、机器学习的一些概念

• 有监督、无监督：
  有监督机器学习又被称为“有老师的学习”，所谓的老师是指标签。监督学习就是最常见的分类（注意和聚类区分）问题，通过已有的训练样本（即已知数据及其对应的输出）去训练得到一个最优模型（这个模型属于某个函数的集合，最优表示某个评价准则下是最佳的），再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的。也就具有了对未知数据分类的能力

无监督机器学习被称为“没有老师的学习”，无监督相比于有监督，输入数据没有被标记，也没有确定的结果。样本数据类别未知，需要根据样本间的相似性对样本集进行分类（聚类，clustering）试图使类内差距最小化，类间差距最大化。通俗点将就是实际应用中，不少情况下无法预先知道样本的标签，也就是说没有训练样本对应的类别，因而只能从原先没有样本标签的样本集开始学习分类器设计

• ** 泛化能力：**

泛化能力（generalization ability）是指一个机器学习算法对于没有见过的样本的识别能力。我们也叫做举一反三的能力，或者叫做学以致用的能力。举个例子，小学生先通过学习十以内的加减乘除，知道什么是四则运算和怎么具体去算数，以后遇到百以内或者千以内的数字也知道怎么去做四则运算。我们只教会他十以内的运算，他自己就能推广到百以内或者千以内的运算，这种能力就是泛化能力。

过拟合与欠拟合（方差和偏差以及各自的解决办法）：
过拟合：小学生学习四则运算，老师教过1+1=2，