基于国产操作系的问答机器人——博客1

JuGLe_

已于 2024-04-23 18:45:36 修改

阅读量817

点赞数 16

分类专栏：深度学习文章标签：机器人 python github pycharm 数据库人工智能

于 2024-04-23 16:06:14 首次发布

本文链接：https://blog.csdn.net/jugle_/article/details/137523588

版权

深度学习专栏收录该内容

3 篇文章 0 订阅

订阅专栏

一、问答机器人介绍

问答机器人是一种能够基于自然语言处理和机器学习等技术，理解并模拟人类对话，回答人类提出的问题的计算机程序。它能够通过与人类交互，获取知识、理解语境，并给出准确的答案。

二、国产操作系统——deepin介绍

deepin（原名：Linux Deepin；中文通称：深度操作系统）是由武汉深之度科技有限公司开发的Linux操作系统，其前身是Hiweed Linux操作系统，于2004年2月28日开始对外发行，可以安装在个人计算机和服务器中。

Deepin 是一款具有自主知识产权的国产操作系统，它拥有丰富的功能和良好的用户体验，逐渐在国内市场获得广泛认可。

三、文档问答机器人介绍

文档问答机器人是一种基于自然语言处理技术的智能对话系统，旨在帮助用户快速准确地获取文档信息。用户可以通过输入问题或关键词来与机器人进行交互，机器人会根据用户的输入在文档库中搜索相关内容，并给出相应的答案或建议。文档问答机器人可以应用在各种领域，如客服、教育、医疗等，帮助用户解决问题、提高效率。通过不断学习和优化，文档问答机器人可以逐渐提升其问答能力，为用户提供更加个性化、智能化的服务。

四、预期目标

1、完成一个聊天机器人，能根据 deepin wiki 内容回答问题

2、通过训练模型，使回答和问题要有80%以上概率的相关性。

3、使用web或qt为机器人添加可视化界面支持，能在deepin系统上使用。

4、博客记录进度

五、阶段性发展

1.前期准备与需求分析

在项目启动之初，我们深入分析了当前市场对国产操作系统领域中文问答机器人的需求，了解到国产操作系统如 Deepin 在知识获取方面的局限性。鉴于 chatGPT 等先进模型的盛行，我们明确了项目的目标：开发一款能够基于 Deepin 系统文档进行精准问答的机器人。

在方案探索阶段，我们提出了两个主要方向：一是利用现有的 LLM 模型，结合向量相关计算从文档中提取问题相关内容；二是基于文档生成数据集，利用 transformers 库训练专用的文档问答模型。经过深入研究和实验，我们最终选择了 RocketQA 模型作为核心，因为它在中文问答任务中表现出色。

2.实践与理论基础

在实践过程中，我们借鉴了市面上成熟的对话 AI 技术，并结合 NLP 领域的最新研究成果，为项目的实施提供了坚实的理论基础。我们深入学习了 BERT 模型等预训练语言模型，并对多种模型进行了对比测试，最终选定 RocketQA 模型进行微调。

3.系统架构设计与开发环境搭建

在系统架构设计方面，我们采用了基于 RocketQA 模型的微调方案，通过调整模型参数使其适应 Deepin 文档问答的特定场景。在开发环境搭建上，我们安装了包括 paddle、pandas、transformers、requests、faiss、7 json、numpy等在内的必要库，以确保程序的顺利运行。

4.功能模块开发与单元测试

在功能模块开发阶段，我们首先对部分数据进行了测试，验证了模型的可行性。随后，我们对整个数据集进行了抽样测试，并对模型进行了进一步的优化。系统集成与综合测试完成功能模块开发后，我们进行了系统集成和综合测试。通过模拟真实场景下的用户提问，我们验证了系统的稳定性和准确性。测试结果表明，系统能够准确回答用户关于 Deepin 系统的问题，并提供相关文档的链接。