机器学习中的通用工作流程

定义问题

想预测什么？

有哪些数据可用？

是否需要收集更多的数据？

是否需要人工标注？

 

定义评价指标

寻找能够可靠评估目标成功的方法。

为任务设计不同的评价指标，如针对简单任务，可以用预测精度。

 

准备数据集

准备用于评估模型的验证过程，即定义训练集、验证集、测试集。

验证集和测试集的标签不应泄露到训练数据中。如针对时序预测，验证数据和测试数据的时间都应在训练数据之后。

 

数据向量化

将数据转化为向量并预处理（如标准化），使其更容易被神经网络所处理。

 

开发模型

设立基准，如基于常识的基准。开发模型并打败基准，从而表明机器学习能解决你的问题。

 

改进模型

通过调节超参数和添加正则化来逐步改进模型架构。

仅根据模型在验证集（而不是训练集或测试集）上的性能来进行修改。

应该先让模型过拟合，从而找到比你的需求更大的模型容量，然后才开始添加正则化或降低模型尺寸。

调节超参数时要小心验证集过拟合，即超参数可能会过于针对验证集而优化。保留的测试集正是为了解决这个问题。