20210926机器学习与数据挖掘笔记

2021.9.26

第1章 绪论

1.1 引言

机器学习研究如何通过计算的手段，利用经验来改善系统自身的性能。在计算机系统中，“经验”通常以“数据”形式存在，因此，机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型/model”的算法，即“学习算法learning algorithm”。

1.2 基本术语

• data set：数据集，记录的集合
• instance/sample：示例/样本/记录，关于一个事件或对象的描述
• attribute/feature：属性/特征，反映事件或对象在某方面的表现或性质的事项
• attribute value：属性值
• attribute space/sample space：属性空间/样本空间/输入空间，属性张成的空间
• feature vector：特征向量，由于空间中的每个点对应一个坐标向量，因此把一个示例成为一个特征向量【示例=特征向量】

• learning/training：学习/训练，从数据中学得模型的过程
  • training data
  • training sample/training instance
  • training set
• hypothesis：假设，学得模型对应了关于数据的某种潜在的规律
• ground-truth：真相/真实，潜在规律自身
• label：标记（不是标签），关于示例的结果信息【个人理解：y】
• example：样例，拥有了标记信息的示例

• label space：标记空间/输出空间

• classification vs regression

  • classification预测的是离散值
  • regression预测的是连续值
  • binary classification：
    • positive class
    • negative class
  • multi-class classificatio

• testing：测试，学得模型后，使用其进行预测的过程
  • testing sample/testing instance：测试样本/测试示例，被预测的样本
• supervised learning vs unsupervised learning：根据训练数据是否拥有标记信息
  • supervised learning
    • classification
    • regression
  • unsupervised learning
    • clustering
• generalization：泛化能力，学得模型适用于新样本的能力
• independent and identically distributed(i.i.d)：独立同分布，假设样本空间中全体样本服从一个未知分布$\mathcal{D}$，获得的每个样本都是独立地从这个分布上采样获得的

1.3 假设空间

• induction：归纳，从特殊到一般的泛化(generalization)过程，从具体的事实归结出一般性规律
• deduction：演绎，从一般到特殊的特化(specialization)过程，从基础原理推演出具体状况

inductive learning：归纳学习，是一个归纳的过程

• 广义的归纳学习：从样例中学习
• 狭义的归纳学习/概念学习/概念形成：从训练数据中学得概念(concept)

---

把学习过程看作一个在所有假设组成的空间中进行搜索的过程，搜索目标是找到与训练集“匹配”(fit)的假设，即能够将训练集中的瓜判断正确的假设。假设的表示一旦确定，假设空间及其规模大小就确定了。

• version space：版本空间。现实中假设空间很大，学习过程是基于有限样本训练集进行，可能有多个假设与训练集一致，即存在着一个与训练集一致的“假设合集”【说句实话，没懂】

通过学习得到的模型对应了假设空间中的一个假设。

1.4 归纳偏好

inductive bias：归纳偏好/偏好，机器学习算法在学习过程中对某种类型假设的偏好。

归纳偏好对应了学习算法本身所做出的关于“什么样的模型更好”的假设。在具体的现实问题中，这个假设是否成立，即算法的归纳偏好是否与问题本身匹配，大多数时候直接决定了算法能否取得好的性能。

• Occam’s razor 奥卡姆剃刀：若有多个假设与观察一致，则选最简单的那个（并非唯一可行原则）
• 没有免费的午餐定理(No Free Lunch Theorem, NFL)，要谈论算法的相对优劣，必须要针对具体的学习问题