大模型落地过程中的现状和问题——RAG技术方案

大模型有幻觉怎么办？？大模型这么多，怎么选？需要多少硬件资源支持？大模型有幻觉怎么办？？新技术层出不穷，如何跟进？大家都在做长文本对我有什么影响么？

模型微调

虽然能通过微调的方式进行知识注入，但是存在两个缺陷：
1.模型微调需要专业人才、GPU设备投入较大
2.若非私有化部署的模型，微调后有数据泄漏的风险，而且知识不易变更

基于向量检索的大模型——检索增强生成（RAG）

通过检索增强生成（RAG）的方式，能够保证定位到最新且准确的知识数据，作为上下文输送给大模型，用低成本（仅普通服务器即可实现高效检索）的方式提升模型效果。

开放域问答系统
在开放域问答系统中，用户可能提出各种类型的问题，这些问题可能涉及广泛的主题和领域。RAG 技术可以通过检索相关的信息片段来提供准确的答案，从而提高问答系统的质量和用户满意度。

文档摘要与生成
RAG 技术可以用于自动文档摘要和生成，通过检索和整合关键信息，生成简洁而全面的摘要内容。这对于快速理解和传达长篇文章的主要内容非常有用。

教育和学习辅助
RAG 技术可以用于教育领域，为学生提供定制化的学习材料和答案。通过检索相关的教育资源和信息，RAG可以辅助学生更好地理解和掌握知识点。

对话系统和聊天机器人
在构建对话系统和聊天机器人时，RAG 技术可以帮助模型更好地理解上下文，并生成连贯、相关且信息丰富的回复。通过检索历史对话内容和相关知识库，RAG可以提供更加个性化和深入的对话体称

合同与标书生成
在自动化合同生成系统中，RAG技术可以根据用户输入的基本信息和需求，自动检索相关的法律条款和先前案例，生成初稿合同。

代码生成和编程辅助
RAG 技术可以应用于代码生成和编程辅助工具中，通过检索现有的代码库和文档，为开发者提供编程建议和解决方案，提高编程效率。