如何构建，训练，测试和部署机器学习模型_在线机器学习建模和训练建设

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新软件测试全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注软件测试）

正文

您使用哪种编程语言？总是有新语言出现，例如Julia。许多人使用R或Python工作，因为他们对ML框架的支持最大。
然后是可供选择的大量现有框架。其中一些工具（例如TensorFlow）拥有庞大的用户群和现有的文档集。其他人可能会提供一些与您的愿景更加接近的东西，但提供的支持会更少。
您的团队将在带有GPU，某些嵌入式目标硬件的您自己的计算机上运行此模型，还是将其完全在云中运行？
该模型需要什么算法？在此示例中，团队可能会选择使用“您只看一次（YOLO）”实时对象检测算法，因为该算法是为您团队的明确目的而存在的。
这些并不是您开始时会问自己的唯一问题，但回答这些问题对您成功的事业至关重要。除了为这些问题建立具体答案之外，理解如何得出答案也很重要。建立，测试和部署模型的方式将随着您对解决相关业务问题的能力的信心而改变。有了可靠的流程，您的团队就可以开始获取数据，构建和训练，并最终验证您的模型。请记住，构建流程时要快速迭代，而不是一开始就拥有完善的端到端解决方案。

数据采集​​与收集

对于假设的物体检测模型，首先，确定输入和输出。输入是给定的图像。输出是带有边界框的图像，边界框是具有X / Y坐标以及高度和宽度参数的行人周围的框。为了达到基本的输入/输出安排，模型将需要带注释的图像以进行最终训练。

但是，在使用带注释的数据训练模型之前，您需要考虑该数据将驻留在何处。您的数据仓库在哪里？数据如何到达仓库并转移到模型中？当您最终开始在现实世界中使用模型时，这些输入是否可用？在我们的示例中，如果我们使用高清图像进行训练，而在提供服务时获得的图像是在较低分辨率的相机中，则该模型很可能会失败。您是否在训练的预处理阶段和为模型使用相同的代码库？同样，此刻还会出现一系列有关您的过程的问题，了解您如何回答这些问题很重要。

如果您已安排好数据存储和移动架构，那么现在该获取所需的特定数据了。在这种情况下，我们正在寻找几千条有行人的街道图像。获取构建模型所需的数据后，您必须通过随机化将其分为三个不同的集合。一个好的经验法则是，将80％的训练集保留下来，将10％的验证和测试集保留下来。在这里重要的是不要查看测试集。

目的是不使模型对任何一组数据过度拟合。如果您的模型在训练中有效，但在验证中无效，那么它在生产中将无法正常工作。如果它可以用于训练和验证，但不能用于测试，则可能是该模型过度适合了训练和验证数据。接下来，我们将研究如何最好地进行培训，测试和验证。

构建，培训，测试，验证

如果将模型过度拟合到训练图像，则可能意味着模型仅在非常特殊的情况下识别行人。也许它可以检测出在室外拍摄的照片中的行人，但无法检测到从窗户后面拍摄的照片中的行人。如果只有雨天的训练数据，则该模型可能无法从您的验证或测试集中检测到晴天照片中的行人。为此，重要的是要根据人类经验为您的数据建立基础，以确保充分覆盖每个数据集中的所有重要案例。

建立基本事实要求要求人类注释您的某些数据集。由于人们将知道（无论照片是从何处拍摄的，无论从何处拍摄的）行人的样子，因此一组注释者将能够比单独的算法更准确地创建边界框。通过将基本事实纳入训练数据中，您有可能避免出现过度拟合的问题。使用一组熟练的人工注释者来创建基本事实，还将使您的模型达到一定的精度水平：目标是达到人工水平的精度，而不是100％的精度。

拆分数据并获得人为创造的地面真理之后，是时候开始使用带注释的数据来训练模型了。通过模型发送训练数据时，您必须确定所做的逐步改进是否值得投资。如果花更多的时间训练模型，导致准确性提高百分之一，以后只会影响约一千个请求，那么可能就不值得花额外的时间。如果花费更多的时间进行培训，从而使一百万用户的收入增加了百分之一，或者改善了您的优势案例，那么即使是很小的改进也值得。

在通过培训磨练模型时，偶尔会利用测试数据集作为模型是否可以在生产中使用的基准。当您从测试数据（可以告诉您是否对模型进行了适当的训练）到验证数据（可以帮助确保您未过度拟合模型）工作时，您可能最终会对模型进行一些迭代更改。最终，该是时候将您的模型投入生产了。

在生产中服务模型

您已经测试并验证了模型，并准备将其发送到现实世界以供使用。 ML部署平台Seldon等工具提供了即用的服务功能。但是，这些类型的框架缺乏业务逻辑，这意味着您的团队将必须建立规则以指定谁可以使用该模型或何时使用该模型，而不是您的组织可能使用的其他模型。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**