机器学习（暴啃西瓜书-1.导言）

写在前面：

笔者本硕物理背景，以一个非科班的视角阅读西瓜书，多少会有些口语化，欢迎大家交流讨论。本文按照西瓜书的行文逻辑，夹杂自己调研阅读的结果，谈谈自己对书中知识的理解看法，若有不当之处，欢迎指正。

导言：

机器学习，就是希望通过已有经验，来训练出一个模型（学习器），用于判断新的情况。这其中最关键的就是产生模型的算法，即‘学习算法’。

对于监督学习而言，模型就是输入到输出的一种映射。

重要概念：

书中提到了很多术语的概念和定义，这里强调几个容易混淆的：

特征向量：一个样本的各个不同属性（特征）的属性值所组成的一维向量。对应特征空间中的一个点。

样本空间（输入空间）：所有训练样本的特征向量所组成的空间。

标记空间（输出空间）：所有训练样本的标记（y值）所组成的空间。

假设空间：所有可能的输入空间到输出空间的映射的集合。其元素即为模型，称为一个‘假设’。

版本空间：所有与已知数据集一致的假设组成的集合。是假设空间的子集。

归纳偏好：引出-版本空间元素不唯一，多个假设符合训练集，选择哪一个？定义-学习过程中对某种类型假设的偏好，亦简称为：偏好（如最大化信息熵）。根据‘奥卡姆剃刀’原则，一般偏好最简单的那个假设。

发展历史：

(1950s) 推理期——(1975s) 知识期——(1980s) 从样例中学习-决策树（最小化信息熵）—基于神经网络的连接主义学习(仅线性)——(1986)BP算法——(1990s)统计学习方法，SVM+核方法——(2000s)多层神经网络，门槛低。