如何构建机器学习的项目

1、机器学习策略

1.1、正交化

通常要做好一个监督学习系统，我们要注意以下四件事：

1. 系统在训练集上的结果比较好，能够接受。如果表现不好，我可能需要训练更大的网络或切换到更好的优化算法。
2. 系统在开发集上的结果能够接受。如果表现不好，可能需要通过正则化使之达到要求或者增大训练集。
3. 系统在测试集上的结果能够接受。如果表现不好，可能需要更大的开发集。
4. 在实际使用中的表现也令人满意。如果表现不好，可能需要改变开发集或成本函数

2、设定目标

2.1、单一数字评估指标

precision：在全部预测中，有多少预测成功了
recall：在全部真的类别当中，有多少是被准确预测分类的

评估的时候，有一个定义明确的开发集来测量查准率和查全率（上面俩个），再加上下面的一个单一数字评估指标，能快速判断哪一个模型更好

调和平均值：

$$F_{1}score=\frac{2}{\frac{1}{P}+\frac{1}{R}}$$

2.2、满足和优化指标

优化指标：尽可能地寻找最优解
满足指标：达到最低要求即可
通过设定好一个优化指标，其余都设置为满足指标，这样在观察多个成本类型时，能够快速地选出最好的那个。当然，这些指标需要在训练验证测试集中获得。接下来我们对如何设置这些进行说明。

2.3、训练集、开发集、测试集的划分

测试集的目的：在完成系统开发后，测试集能够帮助评估投产系统的性能
首先要保证它们都是属于同分布

3、错误分析

3.1、进行误差分析

如在一个猫分类的项目中，有些狗的照片被分类成了猫，那么此时我们是新建一个分类狗的项目以区分开还是用别的方法呢？
如果新建一个项目可能又要花费几个月的时间。
此时应该分析下，如果取100个错误例子，有多少个是狗的例子呢？手动检查后发现只有5%的错误是狗图片，那么我们可以发现改善这种情况对我们的帮助不是很大。否则的话，可以进行改善。
如果有多个情况需要分析，可以分别对它们进行错误分析，列出表格。总的来说，在错误分析中，就看看算法识别错误的开发集例子。