西瓜书——第一章绪论

目录

1、机器学习是什么？

2、学习/训练的概念：

3、监督学习和无监督学习：

4、泛化能力的概念：

5、归纳和演绎的概念：

6、归纳偏好的概念：

7、奥卡姆剃刀：

8、NFT没有免费的午餐定理：

---

1、机器学习是什么？

目的是让计算机模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断完善自身的性能。简单来讲，机器学习就是人们通过提供大量的相关数据来训练机器。

2、学习/训练的概念：

从数据中学得模型的过程称为学习或训练。

3、监督学习和无监督学习：

根据训练数据是否带有标记信息来划分监督学习和无监督学习。训练数据带有标记的为有监督学习，反之为无监督学习。常见的监督学习为：回归和分类；常见的无监督学习为聚类。

4、泛化能力的概念：

学得的模型适用于新样本的能力称为泛化能力。强泛化能力的模型可以很好地适用于整个样本空间。

5、归纳和演绎的概念：

归纳和演绎使科学推理的两大基本手段。

归纳：从特殊到一般的泛化过程，即从具体的事实归结出一般性规律；

演绎：从一般到特殊的特化过程，即从基础原理推演出具体状况。

6、归纳偏好的概念：

归纳偏好：机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”，或简称为“偏好”。

7、奥卡姆剃刀：

“奥卡姆剃刀”是一种常用的、自然科学研究中最基本的原则，即“若有多个假设与观察一致，则选最简单的那个”。

8、NFT没有免费的午餐定理：

NFL定理有一个重要前提：所有“问题”出现的机会相同、或所有问题同等重要。

NFL定理最重要的寓意，是让我们清楚地认识到，脱离具体问题，空泛地谈论“什么学习算法更好”毫无意义，因为若考虑所有潜在的问题，则所有学习算法都一样好。