机器学习笔记-模型评估与选择， Training set、Validation set 和 Testing set的区别与作用

在自学机器学习的过程中，如果不系统的看一本好的参考书，形成整体的知识框架，很容易在某一个环节停滞不前。

例如：Validation set 的作用是什么？它与 Testing set的区别是什么？

在不同的参考书、博客里关于这部分阐述的重点不一致，本文就结合各大牛的知识心得，尝试梳理一下这一块的内容。

• Validation set 的作用是什么？

采用机器学习的方法解决一个实际问题的过程应该大致包括以下几个步骤：问题抽象->模型选择->模型训练->模型应用。问题抽象的意思是将问题中的信息以数学形式表示，比如数据集、向量等。

模型选择这部分正是本文的重点所在，模型选择的本质是对候选模型的泛化误差进行评估，然后选择泛化误差最小的模型对样本进行训练，从而防止模型过拟合。模型选择主要包括两部分：

1、机器学习方法的选择