认知篇-多模态与垂直领域大模型

一、 多模态RAG

1.1 LLM存在的问题

        随着LLM的爆火，大模型在辅助我们高效工作中的地位越来越高，也在越来越多的领域中得到应用和推广。但是在具体应用场景中，仍旧发现通用大模型存在一些问题：

• 幻觉问题

        这个问题在早期的LLM中尤为突出。比如我们向大模型询问“你听说过林黛玉倒拔垂杨柳的故事吗？”此时大模型经过一番思考，讲的头头是道，搞得我以为真有此事。结果发现却是信口雌黄，一本正经的胡说八道。当然像这个问题错误很明显，要是一些你也不清楚的内容，此时怕是要闹笑话了。究其原因，是因为数据收集和算法优化的问题。

• 知识的实时性

        模型的规模越大，训练的成本就越高，而且训练的数据都是历史数据。 像ChatGPT 3.5的数据更新到2021年，如果此时你询问之后的内容，他就无法了解了。所以，比较注重时效性的问题，没有办法得到很好的解决。

• 数据安全性

        数据泄密和隐私的问题一直也伴随着大模型的产生和发展，像OpenAI也是多次受到类似的投诉。如果企业想要通过大模型做内部的决策，将企业的经营数据上传到大模型，显然是不安全的。如果想要保证安全的同时，使用大模型实现决策，就需要使用完全本地化的部署。

1.2 RAG vs Fine-Tuning

        为了解决大模型存在问题，可以有多种方式。

        在已有的大模型基础上，如果想要处理特定领域的问题，此时我们可以引入特定数据即进行额外的训练来优化模型，以便更好的适应任务。这种方式也是常用的手段之一，被称为微调(Fine-Tuning)。这种方式可以一定程度上提高实时性，减少幻觉问题，缺陷在于需要重复的训练。

        另一种方式是检索增强生成（Retrieval Augmented Generation），简称 RAG。RAG通过引入外部知识来源，结合检索和生成两个步骤，来增强大模型的能力。比如引入向量数据库，连接网络获取数据等方式，能够使大模型的数据实时性更好，也能减少幻觉的问题。当然缺陷也很明显，使用RAG需要处理检索和生成过程，比单纯微调更复杂。

1.3 RAG架构