花书读书笔记（四）-机器学习基础

全部笔记的汇总贴：《深度学习》花书-读书笔记汇总贴

一、学习算法

机器学习算法是一种能够从数据中学习的算法。

1. 任务$T$
2. 性能度量$P$
3. 经验$E$

二、容量、过拟合和欠拟合

在先前未观测到的输入上表现良好的能力被称为泛化（generalization）。

决定机器学习算法效果是否好的因素：

1. 降低训练误差。
2. 缩小训练误差和测试误差的差距。

这两个因素对应机器学习的两个主要挑战：欠拟合（underfitting）和过拟合（overfitting）。欠拟合是指模型不能在训练集上获得足够低的误差。而过拟合是指训练误差和和测试误差之间的差距太大。

没有免费午餐定理（no free lunch theorem）表明，在所有可能的数据生成分布上平均之后，每一个分类算法在未事先观测的点上都有相同的错误率。换言之，在某种意义上，没有一个机器学习算法总是比其他的要好。我们能够设想的最先进的算法和简单地将所有点归为同一类的简单算法有着相同的平均性能（在所有可能的任务上）。

三、超参数和验证集

大多数机器学习算法都有超参数，可以设置来控制算法行为。

用于挑选超参数的数据子集被称为验证集（validation set）。

四、估计、偏差和方差

$\theta$的点估计一般用$\hat{\theta }$来表示。

估计的偏差定义为：$$bias({\hat{\theta }}_m)=E({\hat{\theta }}_m)-\theta$$