weixin_45555007的博客

原创 基于NVIDIA NIM的多模态RAG的简单实现

这个项目利用语言模型解析图片，将图片信息保存为文本，并使用嵌入模型将信息保存到FAISS向量数据库中，再调用语言模型分别在基于数据库和不基于数据库这两种情况下回答相同的问题，对比回答的结果，从而实现并评价这个小型的多模态RAG系统的能力。在实现多模态RAG的同时，也对比了不同的prompt设计对RAG效果的影响。项目评估：这次项目整体上展示了多模态RAG实现的大致pipeline。虽然RAG的规模比较小，但有了pipeline之后，如果需要更强的能力，只用根据实际的需求，选择功能更强大部分进行组合就行。