【机器学习】西瓜书 绪论：什么是机器学习以及名词解释

什么是机器学习？

机器学习就是计算机通过对**数据集(data set)进行计算，得出一个学习算法(learning algorithm)**的过程。

通过这个学习算法，我们可以预测整个**样本空间(sample space)**内剩余的数据的结果，这就是机器学习。

概念解释

• 样本(sample)/示例(instance)：单独的一个对象，由于我们可以用每个特征值为坐标轴绘制一份坐标图，每个对象都可以在这个空间中找到相应的点，而每个点对应一个坐标向量，因此我们也称一个示例为一个特征向量(feature vector)。

• 属性(attribute)/特征(feature)：对象所具有的特性。

• 标记(label)：人为设定的，判断样本好坏的依据。当样本具有标记时，则称为样例(example)。

• 监督学习(supervised learning)：每个数据都告诉计算机标记。常见有：回归问题(regression problem)、分类问题(classification problem)。

  • 回归问题(regression problem)：对于连续型变量。比如判断西瓜的成熟度是多少，0.9，0.8…

  • 分类问题(classification problem)：对于离散型变量。比如判断西瓜是好瓜还是坏瓜。

• 无监督学习(unsupervised learning)：每个数据无标记，让计算机自行划分类。

  • 聚类(clustering)：将特征类似的数据自动归类在一起，使人们能发现它的一些特征。

• 归纳(induction)：从特殊值得到一般规律的过程。

• 演绎(deduction)：从一般规律得到特殊值的过程。

• 归纳偏好(induction bias)：任何有效的机器学习必有它的偏好。对于两种没出现过的数据，机器一定会采取倾向其中一种的方法，就是归纳偏好。

• 奥卡姆剃刀原则：如果多种方法都可行，那么倾向于选择最简单的那种方法去解决问题。

• NFL定理(No Free Lunch Theorem)：没有免费的午餐定理。简单理解就是不管是什么样的模型，它们的理论期望性能都是相同的。必须要根据实际的数据才能决定好坏。即“脱离实际意义，空谈学习算法好坏”是毫无意义的。