kerase深度学习笔记（二）机器学习流程

问题分类：

你面对的是什么类型的问题？是二分类问题、多分类问题、标量回归问题、向量回归问题，
还是多分类、多标签问题？或者是其他问题，比如聚类、生成或强化学习？确定问题类
型有助于你选择模型架构、损失函数等。

收集的数据

• 有用的信息：如预测股票的问题上，不能根据股价的历史走势而预测未来的走势，因为单单从股价的历史走势中提取不到大量的有用的信息，从而股票的预测就不会准确。
• 非平稳问题：服装推荐引擎问题上，由于服装是季度性产品，所以真实的结果会根据季度的变化而变化，所以在收集数据时，要在一个平稳的时间尺度上收集数据。但对于服装这种周期性产品，几年的数据足以捕捉到季节性变化。

选择衡量成功的指标

要控制一件事物，就需要能够观察它。要取得成功，就必须给出成功的定义：精度？准确
率（precision）和召回率（recall）？客户保留率？

确定评估方法

• 留出验证集：数据量很大时可以采用这种方法。
• K 折交叉验证：如果留出验证的样本量太少，无法保证可靠性，那么应该选择这种方法。
• 重复的 K 折验证：如果可用的数据很少，同时模型评估又需要非常准确，那么应该使用这种方法。

准备数据

如前所述，应该将数据格式化为张量等操作，在上一个文章中已经介绍过，这里就不多作阐述了。

开发比基准更好的模型

这一阶段的目标是获得统计功效（statistical power），即开发一个小型模型，它能够打败纯随机的基准（dumb baseline）。在 MNIST 数字分类的例子中，任何精度大于 0.1 的模型都可以说具有统计功效；在 IMDB 的例子中，任何精度大于 0.5 的模型都可以说具有统计功效。注意，不一定总是能获得统计功效。如果你尝试了多种合理架构之后仍然无法打败随机基准，那么原因可能是问题的答案并不在输入数据中。要记住你所做的两个假设。

• 假设输出是可以根据输入进行预测的。
• 假设可用的数据包含足够多的信息，足以学习输入和输出之间的关系。

这些假设很可能是错误的，这样的话你需要从头重新开始。
如果一切顺利，你还需要选择三个关键参数来构建第一个工作模型。

• 最后一层的激活。
• 损失函数。
• 优化配置。

扩大模型规模：开发过拟合的模型

开发过拟合模型目的一般是为了探测出模型的规模大小，当出现过拟合时就应调小模型的参数和层，使模型拟合效果保持在过拟合和欠拟合之间。

模型正则化与调节超参数

这一步是最费时间的：你将不断地调节模型、训练、在验证数据上评估（这里不是测试数据）、
再次调节模型，然后重复这一过程，直到模型达到最佳性能。你应该尝试以下几项。

• 添加 dropout。
• 尝试不同的架构：增加或减少层数。
• 添加 L1 和 / 或 L2 正则化。
• 尝试不同的超参数（比如每层的单元个数或优化器的学习率），以找到最佳配置。
• （可选）反复做特征工程：添加新特征或删除没有信息量的特征。

本章总结一下机器学习的一般流程，跟书上内容差别无二，个人觉得这个流程思路比较好所以就记录了下来，以后也会随时更新。