周志华《机器学习》学习笔记1--绪论

定义

机器学习：研究如何通过计算的手段，利用经验来改善系统自身的性能。在计算机系统中，“经验”通常以“数据“形式存在，因此机器学习研究的主要内容是关于在计算机上从数据中产生”模型“的算法，即学习算法(learning algorithm)。

基本术语

• 数据集(data set):关于一个事件或对象记录的集合
• 属性:反应事件或对象在某方面的表现或性质的事项
• 属性空间:属性张成的空间
• 示例 / 特征向量:数据集中的每个记录称为一个示例或特征向量
• 学习 / 训练:从数据中学得模型的过程
• 训练集:训练过程使用的数据称为训练数据，每个样本称为一个”训练样本”，训练样本的集合称为训练集
• 假设:学得模型对应了关于数据的某种潜在规律，因此亦称为“假设”

假设空间

• 归纳:从特殊到一般的泛化(generalization)过程，即从具体的事实归结出一般性规律。

• 演绎:从一般到特殊的特化（specialization）过程，即从基础原理推演出就具体状况。

  从样例中学习显然是一个归纳的过程，因此亦称为归纳学习

• 狭义归纳学习:从训练数据中学得概念，因此亦称为概念学习或概念形成。

• 广义归纳学习:从样例中学习

把学习过程看作一个在所有假设组成的空间进行搜索的过程，搜索目标是找到与训练集匹配的假设，即能够将训练集中所有样例判断正确的假设，这些假设的集合就叫假设空间。现实过程中常面临很大的假设空间，但学习过程是基于有限样本训练集进行的，因此，可能有多个假设与训练集一致，即存在着一个与训练集一致的假设集合，称之为版本空间。

归纳偏好

归纳偏好是一个能挑选最佳假设函数的基准。假如与训练集一致的假设有多个，那么从中选择最佳的一个是归纳偏好的职责。归纳偏好可看作学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或价值观。

奥卡姆剃刀(Occam’s razor):若有多个假设与观察一种，则选最简单的那个。即选择最简单的假设函数，也就是变量最少，变量的幂指数最小的函数。也就是说，一次函数能拟合时就不选二次函数作为假设函数。

没有免费的午餐(No Free Lunch Theorem,NFL)定理:

1.对所有可能的的目标函数求平均，得到的所有学习算法的“非训练集误差”的期望值相同;

2.对任意固定的训练集，对所有的目标函数求平均，得到的所有学习算法的“非训练集误差”的期望值也相同;

3.对所有的先验知识求平均，得到的所有学习算法的的“非训练集误差”的期望值也相同;

4.对任意固定的训练集，对所有的先验知识求平均，得到的所有学习算法的的“非训练集误差”的期望值也相同;

NFL定理表明没有一个学习算法可以在任何领域总是产生最准确的学习器。不管采用何种学习算法，至少存在一个目标函数，能够使得随机猜测算法是更好的算法。

NFL定理最重要的寓意：脱离具体问题，空泛地谈论”什么学习算法更好“毫无意义，因为若考虑所有潜在的问题，则所有学习算法都一样好。要谈论算法的相对优劣，必须要针对具体的学习问题；在某些问题上表现好的学习算法，在另一些问题上却可能 不尽如人意，学习算法自身的归纳偏好与问题是否匹配，往往会起到决定性的作用。

前提:所有问题出现的机会相同、或所有问题同等重要。