从 0 开始机器学习 - 机器学习系统的设计

一、构建算法的推荐步骤

当我们遇到一个问题，比如预测房价，我们想要用机器学习算法来更好的解决这个问题，推荐的步骤如下：

1.1 实现一个简单的算法

建议先花点时间实现一个简单能用的算法，比如线性回归预测房价，不需要一开始就花很多时间设计复杂的算法（在软件开发中叫避免过早优化），你可以先实现能用的算法，然后利用上篇文章从 0 开始机器学习 - 机器学习算法诊断中的学习曲线等诊断法来分析算法的优化方向，这样一个简单的算法就成为了优化问题的好工具！

1.2 分析学习曲线

有个简单的算法后，我们就可以画出学习曲线了，然后就可以决定下一步到底要往哪个方向做优化：

1. 获得更多的训练样本
2. 尝试减少特征的数量
3. 尝试获得更多的特征
4. 尝试增加多项式特征
5. 尝试减少正则化程度
6. 尝试增加正则化程度
7. …

1.3 误差分析

假如我们有多个方向可以作为优化的方向，比如以下的方向都可以解决模型的高方差问题：

1. 获得更多的训练样本 - 适用于高方差的模型
2. 尝试减少特征的数量 - 适用于高方差的模型
3. 尝试增加正则化程度 $\lambda$ - 适用于高方差的模型

那我们又如何来评估每种方法的性能到底提升多少呢？或者说有没有一种直接的指标来告诉我，使用了这样一种优化措施后我的算法性能到底提高了多少百分比？

今天就来看看如何分析机器学习算法的误差。

二、机器学习算法误差分析

2.1 偏斜类问题

在介绍误差分析指标前，先来了解一个偏斜类问题：

训练集中有非常多同一类的样本，只有很少或者没有其他类的样本，这样的训练样本称为偏斜类。

比如预测癌症是否恶性的 100 个样本中&#x