RAG Agent: 从小读诗 - 唐诗三百首

꧁༺༽༾ཊwangsirཏ༿༼༻꧂

于 2024-07-14 16:13:13 发布

阅读量324

点赞数 6

文章标签： ai

本文链接：https://blog.csdn.net/weixin_51204871/article/details/140418090

版权

第十届 NVIDIA Sky Hackathon 参赛作品

项目亮点/特点：

面向低年龄段幼儿、小学生，通过对话进行学习唐诗，相较于书本，能提供更多有关联性的内容
利用RAG结合NIM技术，生成诗作者和背景的描述
针对低年龄用户进行了UI优化，提供了更好的用户体验

项目功能和初衷：

<从小读诗>是一个基于AIGC技术的智能生成工具，旨在帮助用户更快、更便捷地生成对唐诗、作者、诗本身的描述。该项目利用NIM技术，通过自然语言处理和机器学习模型训练和推理，实现对唐诗、作者、诗本身的检索，能根据用户的提问，进行有针对性的回答。

项目流程：

数据处理 - 入向量库 - 检索知识点 - WEB交互

模型训练和推理：

RAG，全称为检索增强生成（Retrieval-Augmented Generation），是一种自然语言处理技术，它结合了信息检索和文本生成两个领域的方法。在传统的生成模型中，如基于Transformer的模型，所有的知识都被编码在模型的参数中，这限制了模型能够理解和生成的信息范围。RAG技术则允许模型在生成文本时查询外部的知识库或数据库，从而引入更多的信息和上下文，提高生成内容的准确性和时效性。

RAG的特点包括：

1. 外部知识接入：RAG能够访问实时或近实时的数据源，从而生成基于最新信息的内容。

2. 上下文敏感性：通过检索相关文档，RAG能够生成更加上下文相关的回应，减少不连贯或无关的输出。

3. 减少幻觉：幻觉是指模型生成不存在于输入中的信息，RAG通过检索验证信息的存在性，减少了这种现象。

4. 可解释性：RAG模型的输出可以追溯到具体的外部知识来源，增加了生成内容的透明度和可解释性。

5. 灵活性：可以轻松地将新知识或数据源集成到现有模型中，无需重新训练整个模型。

我们这次在生成唐诗的RAG应用，采用了深度学习模型进行模型训练和推理，包括文本生成模型和自然语言处理模型。模型训练过程中，我们通过大量的唐诗数据集和自然语言处理数据集进行训练，以提高模型的准确率和稳定性。训练的时间取决于数据集的规模和模型的复杂度，通常需要数小时到数天的时间。

技术创新点：

利用NIM技术实现对唐诗、作者、诗本身的智能生成。

基于深度学习模型的模型训练和推理，提高了模型的准确率和稳定性。

优化的UI页面，提供了更好的用户体验。

UI页面优化：