【机器学习】周志华~笔记1、绪论

1.1引言

• 机器学习是研究如何通过计算的手段，利用经验来改善系统自身的性能。在计算机系统中，“经验”通常以“数据”形式存在，因此，机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型（model）”的算法，即“学习算法（learning
  algorithm）”。
• 本书用“模型”泛指从数据中学得的结果。

1.2基本术语

• 记录的集合称为一个“数据集”（data set），其中每条记录是关于一个事件或对象的描述，称为一个“示例（instance）”或“样本（sample）”。
• 注释：有时整个数据集称为一个样本，因为它可看作样本空间的一个采样；通过上下文可判断出“样本”是指单个示例还是整个数据集。
• 反映事件或对象在某方面的表现或性质的事项，称为“属性”（attribute）或“特征”（feature）；属性上的取值称为属性值。属性张成的空间称为“属性空间”、“样本空间”或“输入空间”。由于空间中的每个点对应一个坐标向量，因此我们也把一个示例称为一个“特征向量”。
• 一般地，令D={x1,x2,…,xm}表示包含M个示例的数据集，每个示例由d个属性描述，则每个示例xi={xi1,xi1,…xid}是d维样本空间X中的一个向量。其中xij是xi在第j个属性上的取值，d称为样本xi的维数。
• 从数据中学得模型的过程称为“学习”或“训练”，这个过程通过执行某个学习算法来完成。训练过程中使用的数据称为“训练数据”，其中每个样本称为一个“训练样本”，训练样本组成的集合称为“训练集”。学得模型对应关于数据的某种潜在规律，因此也成“假设”；这种潜在规律自身成为“真相”或“真实”，学习过程是为了找出或逼近真相。
• 学得模型后，使用其进行预测的过程称为“测试”，被测试的样本称为“测试样本”。
• 根据训练数据是否拥有标记信息，学习任务可大致划分为两大类：“监督学习”和“无监督学习”。
• 机器学习的目的是使学得的模型能很好的适用于“新样本”，而不是仅仅在训练样本上工作得很好。学得模型适应新样本的能力，称为“泛化”能力。

1.3 假设空间

• 归纳与演绎是科学推理的两大基本手段，归纳是从特殊到一般的“泛化”过程，即从具体的事实归结出一般性规律。演绎是从一般到特殊的“特化”过程，即从基础原理推演出具体状况。“从样本中学习”是一个归纳过程，因此也称“归纳学习”。
• 归纳学习有狭义与广义之分。广义的归纳学习大体相当于从样例中学习，而狭义的归纳学习则要求从训练数据中学得概念，因此也称为“概念学习”或“概念形成”。
• 学习过程看作一个在所有假设组成的空间中进行搜索的过程，搜索目标是找到与训练集“匹配”的假设。假设的表示一旦确定，假设空间及其规模大小就确定了。
• 需注意，显示问题中面临很大的假设空间，但学习过程是基于有限样本训练集进行的，因此，可能有多个假设与训练集一致，即存在一个与训练集一致的“假设集合”，称之为“版本空间”。

1.4 归纳偏好

• 机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”，简称“偏好”。任何一个有效的机器学习算法必有归纳偏好，否则它将被假设空间中看似在训练集上“等效”的假设所迷惑，而无法产生确定的学习效果。
• 归纳偏好可看做学习算法自身在一个可能庞大的假设空间中对假设进行选择的启发式或“价值观”。“奥卡姆剃刀”是一种常用的、自然科学研究中最基本原则，即“若有多个假设与观察一致，则选最简单的那个”。
• 事实上，归纳偏好对应了学习算法本身所做出的关于“什么样的模型更好”的假设，在具体现实问题中，这个假设是否成立，即算法的归纳偏好是否与问题本身匹配，大多数时候直接决定了算法能否取得好的性能。
• “没有免费的午餐”（No Free Lunch Theorem，简称NFL定理），让我们清楚的认识到脱离具体问题，空泛地谈论“什么学习算法更好”毫无意义。学习算法自身的归纳偏好与问题是否相配，往往会起到决定性作用。