内容摘要:
T-RAG是一种新的大型语言模型(LLM)应用框架,在保证数据隐私的同时,提高了对私有企业文档的问答系统性能。T-RAG通过结合已有的增强检索生成(RAG)框架、自定义的开源语言模型以及一个实体树矢量数据库,来优化上下文信息的检索。
文章亮点:
- T-RAG解决了使用开源模型部署在企业内部环境中的数据安全性问题,避免通过公共API泄露敏感数据。
- 为了克服有限计算资源和小规模训练数据集的挑战,研究者将指导数据集(源自组织文档)用于训练模型。
- T-RAG引入了一个新的评估指标“Correct-Verbose”,用于评价生成响应的质量,不仅考虑响应的正确性,还考虑了包含额外相关信息的全面性。
实体树和上下文生成:
- 在用户查询时,T-RAG利用实体树和向量数据库检索相关的文档块,用作LLM上下文学习的参考资料。
- 如果查询包含组织内相关实体,那么实体树将提供有关实体的信息,并添加到上下文中。
- 例如,通过自定义的spaCy库规则,可以识别组织中的已命名实体,并结合这些实体的层级位置信息生成文本语句,然后与检索到的文档内容一起构成完整的上下文。
结论:
文章描述了T-RAG如何结合RAG结构和微调,利用部署在本地的开源模型来应对数据隐私问题,同时解决了推理延迟、tokens使用成本以及地区可用性的问题。此外,通过spaCy框架进行实体搜索和上下文生成,这些不仅是研究成果,还是基于在现实世界中构建LLM应用的经验教训。