线性回归算法梳理

1.机器学习的一些概念

• 有监督

  监督学习，最直接印象就是数据是否存在对应的标签。通过标签进行分类。

• 无监督

  无监督学习，样本数据没有标签，需要通过样本间的相似性进行“聚类”。一般考虑类内间距最小化，类间间距最大化。

• 泛化能力

  generalization,用来表征学习模型对未知数据的预测能力。归纳过程。与之对应的是，演绎过程。特化。

• 过拟合（方差和偏差以及各自解决办法）

  由于学习能力过于强大，把训练样本不太一般的特性都学习到了。

  需要注意的是：过拟合是无法彻底避免的，只能”缓解“，或者说是减小其风险。若可彻底避免过拟合，则通过经验误差最小化就能获得最优解，这样相当于构造性的证明了”P=NP“，而这目前来说还是一个无法解决的问题。

  解决方法：1.重新清洗数据。2.增大数据的训练量。3.采用正则化方法。（结构风险最小化SRM）

  • 方差（Variance）多个模型，模型的拟合度如何，标记的聚散程度。（e.g.,打靶打出点是否密集。）

  • 偏差（Bias）单个模型，期望输出与真实标记的差别。（e.g.，打靶打出点与靶心的偏差。）

    泛化误差可分解为偏差，方差和噪音之和。需要注意的是方差和偏差是有冲突的。偏差-方差窘境