第十届NVIDIA Sky Hackathon 比赛——RAG在论文总结中的应用

项目说明

我们的作品通过智能化总结和领域趋势分析，旨在帮助研究人员快速掌握论文精髓和学术动态，提高学术研究的效率和深度。

项目截图

作品描述

我们的作品应运而生，旨在解决学术研究过程中两个常见而棘手的问题。首先，鉴于研究人员面对庞大的学术论文库时常感到不知所措，尤其是当他们遭遇到内容复杂、难以消化的论文时，他们迫切需要一个工具，能够提供简洁明了的总结，帮助他们迅速掌握论文的核心理念和主要成就。其次，随着学术领域的快速发展，保持对最新研究趋势的跟进同样是一项挑战。研究人员寻求一个高效的方式，以便快速了解领域内的最新进展和动态。

功能与初衷

为了满足这些需求，我们设计并开发了这一创新工具，它主要具备以下两项功能：

1. 文献快速总结：本功能允许用户提交那些他们认为难以理解或因时间限制不愿深入阅读的论文。我们的系统将基于用户的具体问题，对论文进行快速解析和总结，精准提炼出论文的核心观点、主要成就以及研究方法等关键信息。这不仅可以帮助用户节约宝贵的时间，还能显著提升学术研究的效率。

2. 领域发展趋势分析：通过对特定研究领域的查询，我们的系统能够访问并分析庞大的文献数据库，总结出该领域的发展历程和当前状态。此功能的目的是为用户提供一个宏观的视角，助力他们把握学术领域的发展脉络，探索研究的新方向和新机遇。

我们开发这款工具的初衷是为了解决学术研究中遇到的实际问题，减轻研究人员的工作负担，提升工作效率。通过智能化的文献处理与分析，我们期望促进学术信息的快速流通和知识的有效积累，为科研进步贡献力量。

亮点/特点

我们作品的一大亮点是其能够输出论文中的相关图片。这一功能基于我们平时阅读论文的习惯，即首先通过摘要筛选论文，然后根据用户的具体问题对选定的论文进行总结。在此过程中，我们的系统不仅提取关键信息，还保留与问题密切相关或重要的图片，并将其一并展示给用户。这极大地方便了用户对领域发展趋势的理解和把握。

利用AIGC工具生成的内容

我们使用了较多NIM接口进行生成，包括3个分类：

• 文字相关：

  • Embedder：ai-embed-qa-4
  • 用户输入检验：ai-llama3-8b
  • 用户输入翻译：ai-llama3-70b
  • 论文总结：ai-mixtral-8x22b-instruct
  • 论文总结内容与问题相关性检验：ai-gemma-2-27b-it
  • 上传pdf总结：ai-mixtral-8x7b-instruct
  • 最终输出翻译：ai-nemotron-4-340b-instruct

• 图片相关：

  • UI图片生成：stable-diffusion-3-medium

• 多模态：

  • 图片描述准确性判断：ai-gemma-2-27b-it

技术创新点

我们最主要的创新点在于以下几点：

1. PDF到Markdown的高效转换：我们使用了Marker，能够将PDF文件准确地转换为Markdown格式，并且保留图片与描述，为后续的处理提供了便利和高效的文本格式。
2. 输出论文图片：在回答时，可以输出与问题相关的图片以及图片描述。
3. 基于摘要的信息召回机制：与传统的全文分块召回方法不同，我们采用了一种创新的策略，直接对文献的摘要进行召回。这不仅大大提高了处理速度，而且还提升了召回信息的相关性和准确性。
4. 智能用户提问优化：我们的系统能够自动识别并优化用户的提问，通过智能分析和重构提问内容，以获得更准确和相关的搜索结果。
5. 双路召回策略：为了进一步提高召回的准确率，我们实施了双路召回机制，确保了信息召回的全面性和准确性。
6. 并行总结：对于每一篇论文单独进行总结，节省大量时间。
7. 针对性内容总结：对于召回的每篇论文，我们的系统都能根据用户的具体问题进行深入分析，并提供精准的内容总结，帮助用户快速理解和获取所需信息。
8. 多语言输出选择：我们的系统支持多种语言输出，用户可以根据自己的需求选择最合适的语言，这大大提高了我们系统的通用性和用户体验。
9. 图像生成模型在UI设计中的应用：我们将图像生成模型应用于用户界面(UI)的制作中，通过智能生成大量高质量的图形，每次启动随机选择不同的图片，为用户提供更加直观和友好的操作体验。

详细流程

首先，我们利用爬虫，收集了超过1300篇的学术论文。为了更好地处理这些文档，我们采用了Marker工具将PDF文件转换成Markdown格式。这一转换步骤至关重要，因为Markdown格式能够保留图片的位置信息。在学术论文中，图片通常伴随着上下文和说明文字（caption），这为大型语言模型提供了理解和解析的便利。

接下来，我们对Markdown格式的文本进行预处理，去除了一些非关键元素，如商标和logo图片。此外，我们使用了ai-mixtral-22b-instruct模型对文档的摘要部分进行提取。如果摘要内容过长，我们还会进行一次精炼，确保其总字数不超过512个tokens，以便无需截断即可通过ai-embed-qa-4模型进行嵌入处理。

我们选择对摘要进行嵌入处理，并采用检索器进行信息检索的主要原因是，我们发现对整篇论文进行分段召回时，往往会出现大量文本来自同一篇论文的情况，这会对回答的质量产生不利影响。

在根据检索到的论文对用户问题进行并行总结后，我们会进一步评估这些总结的相关性，同时判断每张图片是否与其描述相符。

最终，我们会根据需要将信息翻译成中文，以确保输出内容的准确性和易读性。

UI页面优化

优化UI页面是提升用户体验和增强产品吸引力的关键步骤。以下是我们在优化UI页面方面采取的一系列措施：

1. 界面简洁性：我们深知，一个清晰、简洁的界面对于用户来说至关重要。因此，我们采取了最小主义设计理念，尽量减少页面元素，避免过度装饰，确保用户能够一目了然地找到他们需要的功能和信息。我们还通过合理的布局和空间分配，提高页面的可读性和易用性。

2. 知识库选择：在UI中可以选择需要的知识库类型，因为在我们领域，不同的小领域的知识差别很多，因此加上了选择知识库的选项。此外还有一些调节retriever过程中的参数的选项。

3. 使用AI生成的图像美化界面：我们利用AI图像生成技术，为UI设计制作了一系列高质量、主题相关的图像。这些图像不仅美化了界面，还增强了界面的主题性和吸引力。每次用户访问时，系统都会随机选择不同的图片展示，给用户带来新鲜感和惊喜。

总结

团队收获

在参与这个项目的过程中，我们团队不仅学习和掌握了RAG的相关应用，而且还获得了一系列宝贵的经验和技能。以下是我们团队的主要收获：

1. 深入理解AIGC技术：通过这次项目，我们深入理解了人工智能生成内容（AIGC）的工作原理及其在学术研究领域的应用。我们学会了如何利用不同的AI模型，包括文本生成、图片生成和多模态处理，来自动化地生成高质量的学术内容。
2. 技术融合与创新：我们成功地将PDF转Markdown、信息检索、内容总结、图片处理等多种技术融合在一起，创造出一个功能强大的工具。这种跨领域的技术融合为我们打开了新的视野，让我们看到了技术创新的无限可能。
3. UI设计与用户体验：这是我们第一次尝试从零开始设计用户界面，我们学习了如何将用户体验放在设计的中心，如何通过UI设计来简化用户操作流程，以及如何利用AI生成的图像来美化界面。这些经验对于提升我们未来项目的用户体验将非常有用。
4. 团队合作与项目管理：在这个项目中，我们学会了如何高效地分工合作，如何管理一个跨学科的项目团队，以及如何在紧迫的时间内协调各方面的工作以确保项目的成功。这些管理和协调能力对我们未来的研究和职业生涯都是极其宝贵的资产。
5. 学术与技术的交叉学习：通过与来自不同背景的开发者和研究人员的交流，我们不仅扩展了自己的学术视野，还学习到了许多先进的技术知识。这种交叉学习的经历极大地丰富了我们的知识体系，为我们解决复杂问题提供了更多的工具和方法。
6. 对未来技术趋势的洞察：参与这样的项目使我们有机会近距离观察和学习最前沿的技术，对未来技术的发展趋势有了更深入的理解和洞察。这对于我们未来选择研究方向和技术路径具有重要的指导意义。

总之，这次项目不仅是一个技术上的挑战，更是一个学习和成长的机会。我们团队通过这次经历，不仅提升了自己的技术能力，更重要的是，我们学会了如何将技术应用于解决实际问题，如何在团队中协作和沟通，以及如何在面对挑战时保持创新和探索的精神。这些收获将伴随我们在未来的研究和工作中不断前行。

遗憾

在这个项目的实施过程中，尽管我们取得了一些成果和进步，但也存在一些遗憾和不足之处，这些问题为我们未来的工作指明了改进的方向。

• 论文数据集的局限性：我们收集的论文数量虽然已经超过1300篇，但在高能物理这一宽广而深奥的领域内，这个数字还远远不够。高能物理领域内有着丰富的研究方向和细分领域，每个领域都有大量的研究成果。我们的数据集覆盖不够全面，这限制了我们系统的应用范围和深度，也可能导致我们的系统无法为用户提供最全面、最前沿的研究成果和趋势分析。未来，我们需要进一步扩大数据集的规模和覆盖范围，以更全面地理解和服务于高能物理领域。
• 系统效率和成本的挑战：在实现项目功能时，我们发现每次查询和处理消耗的tokens数量较多，这不仅增加了运行成本，也影响了系统的响应速度和用户体验。

希望

在完成这个项目的过程中，我们对未来充满了希望和期待。我们认为，通过不断的努力和技术创新，我们能够进一步提升我们的工具和服务，为科研工作带来更多的便利和效率。

以下是我们对未来的具体期望：

• 构建更大、更全面的知识库：我们希望能够扩展我们的知识库，不仅仅局限于高能物理领域，还能覆盖更多的学科和研究方向。通过构建一个更大、更全面的知识库，我们的工具将能够为更广泛的用户提供服务，帮助他们快速获取所需的学术信息和研究成果。我们也希望通过不断更新和扩充知识库，保持信息的最新性和相关性，从而更好地支持科研工作的发展。

• 期待NIM提供更多支持和模型：我们非常希望NIM能够提供更多的模型和工具，特别是像PDF转Markdown这样的模型。这样的模型可以极大地提高我们处理学术文献的效率和质量，使我们能够更容易地提取和利用文献中的信息。此外，如果NIM能够提供更多针对特定学科或领域的模型，那么我们的工具在处理专业内容时将更加准确和高效。

通过这次参赛经历，我们深刻认识到，科技的进步和创新是无止境的。我们希望能够继续在这条道路上前进，不断探索和尝试，将我们的知识和技能应用于更广泛的领域，为科学研究和社会发展做出更大的贡献。我们相信，未来属于那些勇于创新、不断学习和进步的人。我们期待与全球的研究者和开发者一起，共同推动科技的发展，探索未来的可能性。