线性回归算法梳理——Test1

关于机器学习

概念

监督学习

输入数据被称为训练数据，它们有已知的标签或者结果，比如垃圾邮件/非垃圾邮件或者某段时间的股票价格。模型的参数确定需要通过一个训练的过程，在这个过程中模型将会要求做出预测，当预测不符时，则需要做出修改。常见的监督学习算法包括回归分析和统计分类。

无监督学习

输入数据不带标签或者没有一个已知的结果。通过通过推测输入数据中存在的结构来建立模型。常见的无监督学习算法有聚类。

半监督学习

输入数据由带有标签和不带标签的组成。合适的预测模型虽热已经存在，但是模型在预测的同时还必须能通过发现潜在的结构来组织数据。这类问题包括分类和回归。

强化学习

输入数据作为来自环境的激励提供给模型，且模型必须做出反应。反馈并不像监督学习那样来自训练的过程，而是作为环境的惩罚或者奖赏。例如，系统和机器人控制。算法的例子包括Q学习和时序差分学习。

泛化能力

一个学习算法训练出来一个模型，希望它不仅仅是对已知的数据性能表现良好，对未知的数据也要表现完好，能给出合适的结果。测试集的误差也被称为泛化误差。
在机器学习中，泛化能力的好坏，最直观的表现出来的就是模型的过拟合与欠拟合。
欠拟合：指对训练样本的一般性质尚未学号。
过拟合：学习器吧训练样本学得“太好”了的时候，可能把训练样本自身的特点当做了所有潜在的样本都会具有一般性质，这样就会导致泛化性能下降。