机器学习基础 - [第八章：机器学习系统设计]（1）误差分析

1、机器学习系统设计的一些建议

在设计机器学习系统时，一般建议：
（1）先使用一个简单的模型，然后在交叉验证集上测试它的表现；
（2）可以画出学习曲线来决定我们是否需要更多的数据，更多的特征；
（3）误差分析。手动检查在验证集中算法分类错误的那些实例，观察它们有什么样的特征和规律，找出它们被分类错误的原因，然后重新设计特征；

2、错误分析

手动检查算法在验证集上分类错误的实例，对它们进行总结归纳

3、数值估计的重要性

误差分析对于决定是否能改善模型表现没有帮助。我们需要一种数值评估方法（分类误差或分类准确率）来评估模型的表现。