软件工程《在线模型训练系统设计和分析》

颜孙炜 2024.7

一.系统需求分析

目标用户分为(数据分析师，一般开发者，学生用户)

数据科学家利用OTS平台进行数据准备、模型开发和实验管理。他们负责数据清洗、预处理和特征工程，以确保数据质量适合模型训练。他们还创建、训练和优化各种机器学习模型，进行超参数调优和性能评估，并记录实验结果生成报告，与团队成员共享以促进协作。

开发者利用OTS平台快速开发和迭代创新型应用，集成机器学习功能。他们可以使用平台提供的AI算子和例程，快速构建应用，并在社区中分享自己的作品，获取其他开发者的反馈和建议，从而不断改进产品。

学生用户通过OTS平台的教程、例程和文档，学习机器学习和人工智能技术，进行小规模实验和项目实践。他们可以从社区下载他人共享的模型和应用，进行试用和二次开发，以便深入理解和应用相关技术。

其他用户包括系统管理员和厂家：

系统管理员通过OTS平台进行内容审核、用户管理和安全监控。他们负责审核用户上传的数据集、模型和应用，确保平台内容符合规范；处理用户注册和权限管理，提供技术支持；并持续监控平台的安全状况，防止数据泄露和恶意攻击，确保平台的稳定运行和安全性。

厂家提供的资源主要包括丰富的例程和示例代码，涵盖了从数据预处理到模型训练、评估和应用开发的各个环节。这些资源可以帮助用户更快地上手并掌握平台的功能。此外，厂家还提供了详细的SDK和AI算子文档，介绍了它们的使用方法，包括API接口说明和操作指南。这些资源使得开发者能够有效地开发、集成和优化他们的模型和应用，充分利用平台的功能和灵活性。综合利用这些资源，用户能够在使用厂家提供的OTS平台时，快速理解和应用机器学习和人工智能技术，从而加速开发周期并提高项目的效率和质量。

二、软件开发模型与开发技术

1. 开发模型

本系统选择使用敏捷开发模型作为软件工程中的开发模型：敏捷开发强调团队合作、用户反馈和快速响应需求变化。它通过短周期的迭代开发和持续集成来提供软件。在在线训练系统平台中，平台需要满足多种用户的需求：从数据科学家的数据处理和模型开发，到开发者的快速应用开发，再到学生用户的学习和实验。这种情况下，选择一个灵活的开发模型对于快速适应不同用户需求和不断改进平台功能非常重要。因此，采用敏捷开发模型可以使平台能够持续优化功能，并在短时间内响应用户的需求和反馈。

2. 开发技术

在线训练系统使用Python Flask作为后端框架，MySQL作为数据库存储用户信息，并采用Docker容器技术实现模型的训练和转换。Flask是一个轻量级的Python Web框架，灵活且易于使用，适合快速开发和部署Web应用。它处理HTTP请求、路由管理、会话管理以及与前端进行API交互。MySQL是一个流行的关系型数据库管理系统，性能高且安全，适合处理大量数据，存储用户信息、数据集信息、模型信息和训练任务状态等。Docker是一个开源的容器平台，将应用程序及其依赖环境打包成标准化单元，便于部署和管理，确保训练环境的一致性和隔离性。通过Flask实现用户注册、登录、数据集上传、模型上传、创建训练任务等API接口，处理请求并与数据库交互，结合Docker容器技术高效管理和执行模型训练任务。

三、人员配备与开发进度计划

1.人员配备

表1  人员配备表

角色	职责描述	备注
项目经理	负责项目整体协调、进度跟踪和沟通	项目总体负责
业务分析师	需求收集与分析，编写用户故事和用例	需求变更时协助开发团队
技术总监	确定架构和技术选型，制定开发测试策略	技术决策
开发团队	开发核心功能模块，数据库设计	软件开发，单元测试
测试团队	系统集成测试，性能优化，用户验收测试	测试用例编写，测试执行，bug修复
技术支持	系统部署，用户培训，发布前准备工作	部署文档编写，用户手册编写
运维团队	系统监控和反馈收集，处理发布后的问题	系统维护和支持

2.开发进度计划

表2  开发计划进度表

时间节点	活动描述	负责人	备注
第一周
周一	项目启动会议，确定项目范围和目标	项目经理
周一至周三	需求收集与分析，编写用户故事和用例	业务分析师
周四至周五	确定架构和技术选型，制定开发和测试策略	技术总监
第二周
周一至周三	设计数据库结构和系统界面	技术团队
周四至周五	开发核心功能模块	开发团队	考虑需求变更的可能性
第三周
周一至周二	完成剩余功能开发和单元测试	开发团队
周三至周四	系统集成测试和性能优化	测试团队
周五	准备发布前的准备工作，包括文档更新和最终测试	项目经理
第四周
周一至周二	用户验收测试和bug修复	测试团队
周三至周四	系统部署和用户培训	技术支持
周五	正式发布，监控和反馈收集	运维团队

四、结构化分析与设计

1. 功能建模

用户可以上传数据集、上传模型、训练模型、下载训练好的模型，以及查看社区模型和应用。管理员负责审查用户上传的数据集、模型和应用。系统提供例程和SDK、AI算子文档，存储和管理用户上传的数据集和模型，执行模型训练，存储和展示社区模型和应用，并对用户上传内容进行审查。

图1  顶层DFD

2.数据建模

        系统中包含多个实体及其属性：用户实体包括用户ID、用户名、密码、邮箱、角色（用户或管理员）和注册日期；数据集实体包括数据集ID、数据集名称、上传用户ID、上传日期、数据集描述和文件路径；模型实体包括模型ID、模型名称、上传用户ID、上传日期、模型描述、文件路径和版本；训练任务实体包括任务ID、用户ID、数据集ID、模型ID、训练参数、任务状态、创建日期和完成日期；审核记录实体包括审核ID、审核对象类型（数据集或模型）、审核对象ID、审核用户ID、审核日期、审核结果和审核备注；评论实体包括评论ID、用户ID、模型ID、评论内容和评论日期。

用户（用户ID，用户名，角色）

审核记录（用户ID，审核ID，审核日期）

评论（评论ID，用户ID，模型ID,评论内容）

训练任务（用户ID，用户名，角色）

数据集（数据集ID，文件路径，数据集名称，上传时间）

图2  ER图

3. 层次方框图

系统的功能分析可以分为四个主要层次。用户接口层负责用户注册、登录、数据集和模型管理以及社区模型和应用展示。业务逻辑层包括数据集管理、模型管理、训练任务管理和审核与权限管理。服务层提供例程和SDK、AI算子文档以及容器化训练环境支持。数据存储层负责存储用户信息、数据集、模型、训练结果和社区内容。这些层次结构清晰地划分了系统功能的不同职责，确保了系统的逻辑完整性和功能模块化。

图3  功能层次方框图

五、UI原型设计        

        系统的UI设计简洁明了，易于理解和操作，以满足数据科学家、企业用户和学生的需求。布局采用侧边栏导航、顶部菜单和中间分页界面，确保用户可以快速找到所需功能。颜色搭配选择黑色和米色为主色调，蓝色按钮作为强调色，营造专业且现代的视觉效果，同时确保界面元素的高对比度和易读性。

图4   在线训练平台主页原型

图5   在线训练平台主页原型    

六、面向对象分析与设计

1. 用例建模

系统中，用户包括数据科学家、企业用户和学生，他们可以注册并登录系统，上传数据集，管理已有的数据集，创建和启动训练任务，管理模型，并进行审核和评论。管理员负责用户管理，审核内容，并进行系统监控与维护工作。厂家的角色则包括答疑解惑，发布文档以及发布SDK，以支持系统的使用和开发。

图6   系统用例图    

表3  用户训练用例规约表

用例编号	001
用例名称	用户上传数据集
参与者	用户
前提条件	用户登陆账户
正常流程	用户访问“上传数据集”页面。 2. 用户填写数据集信息并选择文件上传。 3. 系统验证数据集格式和内容。 4. 系统提示数据集上传成功。 5. 用户导航到“创建训练任务”页面。 6. 用户选择上传的数据集和模型，配置训练参数。 7. 用户提交训练任务。 8. 系统启动训练任务，并显示任务进度
异常流程	1.数据集验证失败，系统提示错误信息，用户重新上传 2..训练启动失败，系统提示错误信息，用户重新配置
后置条件	1.数据集已成功上传并存储在服务器。 2.数据集通过了系统的格式和内容验证。 3.训练任务已成功创建并在系统中启动。 4.用户可以在管理页面查看训练任务的进度和状态。 5.用户收到系统通知，确认训练任务已经开始。

2. 静态建模

系统涉及的主要实体包括用户、数据集、模型、训练任务、审核记录、评论和SDK文档。用户可以注册、登录、更新信息，并能够上传和管理数据集及模型，创建和查看训练任务，撰写评论，查看和下载SDK及文档。数据集由用户上传，需要经过格式和内容验证，可用于训练任务。模型由用户上传，具有描述和版本信息，可用于训练任务并可收到评论。训练任务关联数据集和模型，用户可以创建和查看任务进度。审核记录记录了审核对象（数据集或模型）、审核者信息、审核结果和备注。评论由用户撰写，针对模型。SDK文档由管理员上传，用户可以查看和下载并且文档可更新。

图7   系统类图    

3. 动态建模

（1）训练任务模块设计

用户通过前端界面上传数据集，前端界面将数据集上传请求发送到后端服务器。后端服务器验证数据集格式和内容后，将数据存储到数据库，并通知前端界面数据集上传成功。用户随后通过前端界面创建训练任务，前端界面将训练任务请求发送到后端服务器。后端服务器从数据库中获取数据集和模型信息，然后将训练任务请求发送到训练引擎。训练引擎收到请求后启动训练任务。一旦训练任务启动成功，前端界面显示相应消息，并提供任务进度查看功能。

图8   训练任务顺序图   

（3）对象状态分析

对象状态分析包括系统中各核心对象的状态及其转换过程，包括数据集、、训练任务和审核记录。每个状态转换都由特定的事件或条件触发，确保对象在系统中按预期流程进行。

图9   数据集状态图

图10   训练任务状态图

图11   审核状态状态图

1. 系统活动设计

系统用户活动包括注册与登录、数据集管理、模型管理、训练任务管理、审核管理、评论管理和SDK文档管理。用户访问注册页面填写信息后，系统验证并创建新用户；登录时，系统验证用户信息允许登录。用户可以上传数据集和模型，系统验证后使其可用；用户还能查看、编辑和删除数据集和模型。用户创建训练任务时，选择数据集和模型并配置参数，系统排队处理并更新任务状态。管理员负责审核用户上传内容，系统记录审核结果。用户可以撰写和查看模型评论，并查看和下载SDK及文档。管理员还可以上传和更新SDK文档。通过这些活动，系统实现了用户与数据、模型及任务的高效交互和管理。

---

              

图12   系统活动图    

七、总结

1. 系统局限

        本系统尽管功能丰富，但仍存在一些局限性。首先，系统依赖用户提供的数据集和模型质量，这可能导致数据和模型的多样性和质量不均衡，影响训练效果。其次，系统的性能在处理大量并发训练任务时可能受到限制，需要强大的计算资源和优化的任务调度策略。再者，审核机制虽然可以过滤违规内容，但仍然需要大量人工审核，增加了管理成本。此外，系统的用户界面和用户体验对不同技术水平的用户可能有不同的适应度，需要不断优化。最后，系统的安全性和隐私保护需要持续关注，以防止数据泄露和滥用。

2. 系统价值

        尽管存在局限性，本系统在多个方面具有重要价值。首先，它提供了一个便捷的在线平台，用户可以轻松上传数据集、模型并进行在线训练，降低了AI开发的门槛。其次，系统通过提供详尽的SDK和AI算子文档，帮助用户更好地理解和使用系统，提高开发效率。此外，审核机制保障了系统内容的合法性和合规性，维护了平台的健康生态。再者，评论功能促进了用户间的交流与合作，共同提升模型的质量。最后，系统通过不断的优化和改进，可以提升用户体验和系统性能，提供更高效和可靠的服务。综上所述，本系统不仅为AI开发者提供了强大的工具支持，还通过社区互动和内容审核机制，推动了AI技术的普及和应用。