本文将分享作为大模型应用创业者的经历与观察,讨论RAG技术和市场环境在2024年的变化。
一、RAG技术的演进
RAG(检索增强生成)由“检索”和“大模型生成”两部分组成,而检索之前的索引创建(如chunking、embedding等)是核心基础。我们早在2021年便通过Java技术栈实现了RAG的“RA”部分。2023年中,RAG概念突然走红,并迅速在企业应用中显示出更强的实用性。
1. 主流架构的变化
2024年,RAG的架构讨论趋于成熟。三种模式(Naive RAG、Advanced RAG、Modular RAG)中,Advanced RAG因性能优异且实现难度适中,成为主流。在满足客户需求时,通过在Advanced RAG基础上做优化,往往比复杂的Modular RAG更高效。
2. 技术细节的突破
RAG技术的细节在不断改进,尤其体现在知识提取、索引组织和检索方法三个方面:
- 知识提取:多样化的文档类型(如PDF表格、旧格式文件)解析成为重点。一些企业和开源工具(如PaddleOCR)在这方面表现突出。进一步思考前置工作流,即通过知识生产和协作工具优化知识提取,是下一步的潜力方向。
- 索引组织:从chunking到元数据附加,再到图数据库应用,索引方式多样化。比如,针对引用消解问题,可通过chunk叠加和附加元数据提升准确性,而图数据库因高成本和有限场景仍未普及。
- 检索方法:混合检索(Hybrid,BM25+语义检索)和排序优化(如RRF Fusion、rerank)成为标准实践。有效的检索能显著降低生成幻觉,提高回答精准度。
二、市场需求的转变
2024年,RAG在市场需求上的表现愈发突出,尤其是与Fine-tune的对比中。
1. RAG的优势
- 专属知识文件管理:RAG无需繁琐的微调即可高效更新知识文件,适用于知识更新频繁的领域(如金融、企业情报)。
- 幻觉控制:通过精准检索和清晰上下文,RAG显著减少了大模型的错误回答概率。
2. 市场表现与趋势
2024年RAG占据企业市场51%的份额,遥遥领先于Fine-tune和Prompt工程。随着更多企业关注实际应用价值,小而难的项目需求(如高准确率AI问答)逐渐替代大而全的理想化需求。展望2025年,应用(Application)将成为市场核心,RAG的白盒性和易控性使其更具竞争力。
三、从业者与市场的冷思考
1. 技术热潮的降温
2024年下半年,AI热度有所回落,部分AI团队解散,许多独立开发者退出探索。但这并非坏事,而是技术成熟的自然过程。
2. 价值逐渐显现
目前坚持AI赛道的公司,尤其是在法律、医疗、教育等垂直领域的深耕者,正逐步建立竞争优势。未来,大模型应用的真正价值将在实际业务流程中开花结果。
四、总结与展望
RAG技术正在从快速扩张转向深度优化,并在企业应用中占据主导地位。TorchV等产品以RAG为核心,已为多个大型客户提供服务。期待未来更多企业通过RAG实现高效、精准的AI解决方案。