机器学习笔记-第一章绪论

机器学习分类：

泛化能力：学得模型适用于新样本的能力。

归纳：从特殊到一般的泛化过程，即是从具体的事实归结出一般性规律。
演绎：从一般到特殊的特化过程，即从基础原理推演出具体状况。

概念学习，最简单的是布尔概念学习
假设空间、版本空间

归纳偏好：机器学习算法在学习过程中对某种类型假设的偏好。==> 什么样的模型更好
奥卡姆剃刀：若有多个假设与观观察一致，则选最简单的那个。

“没有免费的午餐”定理（NFL定理）：前提：所有问题出现的机会相同、或所有问题同等重要。则总误差与学习算法无关