一、 多模态RAG
1.1 LLM存在的问题
随着LLM的爆火,大模型在辅助我们高效工作中的地位越来越高,也在越来越多的领域中得到应用和推广。但是在具体应用场景中,仍旧发现通用大模型存在一些问题:
- 幻觉问题
这个问题在早期的LLM中尤为突出。比如我们向大模型询问“你听说过林黛玉倒拔垂杨柳的故事吗?”此时大模型经过一番思考,讲的头头是道,搞得我以为真有此事。结果发现却是信口雌黄,一本正经的胡说八道。当然像这个问题错误很明显,要是一些你也不清楚的内容,此时怕是要闹笑话了。究其原因,是因为数据收集和算法优化的问题。
- 知识的实时性
模型的规模越大,训练的成本就越高,而且训练的数据都是历史数据。 像ChatGPT 3.5的数据更新到2021年,如果此时你询问之后的内容,他就无法了解了。所以,比较注重时效性的问题,没有办法得到很好的解决。
- 数据安全性
数据泄密和隐私的问题一直也伴随着大模型的产生和发展,像OpenAI也是多次受到类似的投诉。如果企业想要通过大模型做内部的决策,将企业的经营数据上传到大模型,显然是不安全的。如果想要保证安全的同时,使用大模型实现决策,就需要使用完全本地化的部署。
1.2 RAG vs Fine-Tuning
为了解决大模型存在问题,可以有多种方式。
在已有的大模型基础上,如果想要处理特定领域的问题,此时我们可以引入特定数据即进行额外的训练来优化模型,以便更好的适应任务。这种方式也是常用的手段之一,被称为微调(Fine-Tuning)。这种方式可以一定程度上提高实时性,减少幻觉问题,缺陷在于需要重复的训练。
另一种方式是检索增强生成(Retrieval Augmented Generation),简称 RAG。RAG通过引入外部知识来源,结合检索和生成两个步骤,来增强大模型的能力。比如引入向量数据库,连接网络获取数据等方式,能够使大模型的数据实时性更好,也能减少幻觉的问题。当然缺陷也很明显,使用RAG需要处理检索和生成过程,比单纯微调更复杂。