AI的训练，验证和测试阶段-以您永远不会忘记的方式进行解释

 

　　跟随憨豆先生参加他的第一次微积分考试...

　　如果您听说过关于机器学习（ML）和AI的验证，但是您不太确定到底是怎么回事–验证只是有史以来最重要的应用AI概念之一，没什么大不了的- 这就是您一直在等待的类比。 想象一下，憨豆先生即将参加他的第一次微积分考试...

　　

　　像往常一样，我们最喜欢的大黄蜂忘了购买指定的教科书，但幸运的是，他从黑板上写下了一个方程式（90年代），现在他有一个晚上可以学习足够的知识来通过考试。 顺便说一下，您是这个故事中的微积分专家-我为您的耐心喝彩。

　　ML / AI的训练和调整阶段

　　憨豆先生发掘了他所记录的方程式，并开始研究该方程式以备明天的考试。 他没有其他示例（数据点）或资源可以帮助他，他也不必费心写下任何明确的规则来解释微积分的工作原理，因此他所能做的就是在等式中搜索模式：

　　

　　就像AI算法一样，他的目标是找到一种数据模式，他可以将其转换为配方（"模型"），从而成功地将其从"="左侧的输入带到右侧的输出。 。 这正是在已应用的AI项目的训练和调整步骤（我的循序渐进指南中的步骤6-7）期间进行的操作。

　　训练都是关于根据可用示例中的模式制作配方。

　　因此，让我们再次仔细查看该示例……我们可以看到任何模式吗？

　　

　　赞！ 憨豆先生找到了一个！ 只需抓住8，将其转过来，就可以找到答案。

　　

　　该配方当然适用于此示例。 非常适合。 恭喜你！ 憨豆先生是否应该直接参加考试？ 根据我已评分的一些大学考试，答案并不明显。 但是我敢打赌，您-我亲爱的开明的读者-比这更好。 如果您是憨豆先生，您宁愿先做其他事情，对吗？

　　我几乎可以听到你从这里一直喊着。 "再试一次！！！"是的！ 您和憨豆先生之间的区别在于，您都将尝试另一种……但是您足够聪明，可以在考试前进行这项操作。 换句话说，在低筹码的设置中有赎回的空间，而不是在高筹码的情况下没有回购。

　　ML / AI中的验证阶段

　　这就是机器学习中的验证（第8步）。 验证为学生提供了一个安全，低风险的机会，使他们可以根据尚未明确学习的示例尝试自己的食谱。 这样，他们便可以发出信号，告知他们是否已准备好参加真正的考试。

　　验证为您的项目提供了一些赎回的空间。

　　（憨豆先生很幸运有一位像您这样的教授。感谢您发送给他更多的例子，以尝试在他的宿舍舒适和安全的环境中使用！）

　　因此，憨豆先生即将尝试一个新的。 让我们验证一下！

　　

　　憨豆先生采用他的模型…

　　

　　他把那边的5转起来了！ 提供答案。

　　

　　然后，他根据您提供的正确答案检查性能，然后…

　　

　　可悲的是，这并不是数学符号。

　　迭代时间！

　　现在怎么办？

　　憨豆先生看到他的模型表现很差，他可以选择：重新开始还是参加考试。

　　如果他选择重新开始，他可能会返回训练（第6步），并在已经拥有的数据中（该单个微不足道的数据点）搜索新模式，或者他可能会更进一步并考虑调整正在处理的数据（ 如果是我，请您再举几个例子，这意味着请一直回到本指南的第2步）。

　　允许学生（和ML / AI工程师）在寻找样式和验证他们的新食谱之间来回跳动。 （但不要整夜学习！）

　　最终，凌晨3点，憨豆先生发现了一种模式，该模式可以正确处理您提供给他的所有验证示例。

　　

　　Studying all this calculus took a toll on Mr. Bean's appearance.

　　您在3:08 AM收到以下电子邮件：

　　"亲爱的教授，

　　我发现了一个配方，可以很好地在您提供给我的那些游戏账号交易验证示例中正常工作。 我可能是您有史以来最优秀的微积分学生。 我们如何节省时间，而我不参加考试呢？ 您可以在我睡觉时给我A +。

　　此致M.R. 憨豆"

　　教授，你怎么说？

　　ML / AI中的测试阶段

　　您几乎在咆哮，"当然不会！!!!"

　　为什么不？ 通过回答，您将回答为什么每个自重的应用ML / AI项目都需要进行验证和测试。

　　每个自重的应用ML / AI项目都需要验证和测试。

　　憨豆先生可能自欺欺人，以为自己实际上不懂这些方程式。 就您所知，他可能已经编造了一个疯狂的配方，该配方过于适合，甚至扭曲自己，以适应他整夜都在盯着的那些具体例子。 也许他只是记住了所有答案，这就是他的诀窍-从内存中查找它们。 无法保证他了解足以应付新问题的任何一般知识。

　　因此，我们不要信守诺言。 ML / AI的一个关键原则是我们永远不信任……我们进行测试。

　　如果憨豆先生试图通过告诉我他的配方或"理解"来让我通过，那么，这很可爱，但是就像所有经验丰富的应用AI专家一样，他们已经待了很长时间被烧毁了，我不会相信他，直到他向我展示他如何以从未见过的新例子完成任务。 （尽管了解他的配方可以帮助我改善他的配方，所以在训练阶段讲解性非常好。）

　　ML / AI的一个关键原则是我们永远不信任……我们进行测试。

　　当然，憨豆先生尽了最大的努力，他的最终配方反映了他的最佳理解。 那并不意味着他应该通过。 不幸的是，有时学生（或系统）的最佳表现还不够好。 也许他的示例（数据）不够丰富，也许他没有足够的数据点来揭示有用的模式（仅一个示例永远不足以学习如何解决极限演算问题，对不起），或者 也许他的算法-呃，大脑-找不到成功的秘诀。 对于憨豆先生来说，真是不走运。当任务难以学习时，并不是每个学生或AI系统都能成功。 这就是生活。

　　

　　那么，憨豆先生最好的东西够好吗？ 您是否应该给他通行证以继续下一步（在野外为他生产数学产品），还是应该巧妙地建议他改读专业？

　　测试阶段可让您了解学生对任务的学习程度。

　　让我们通过邀请他参加高分考试来找出答案，在那里他将尝试他无法记住的新示例的配方...如果他不通过，将结束比赛。 祝你好运，Mr憨豆先生！

　　

　　(本文翻译自Cassie Kozyrkov的文章《Training, validation, and test phases in AI — explained in a way you'll never forget》