大模型相关的三个研究方向

1. RAG

       也就是检索增强生成，是当前最主要的大模型应用研究方向之一。这个概念本质上揭示的是我们采用的技术方法，也就是利用信息检索，获取跟问题相关的数据，最后让大模型结合这些数据，实现更好地生成。RAG可以解决几个问题：

（1）幻觉问题，由于生成式大模型的本质属性，它的输出是语言的一种概率分布，因此也就可能创造出原本不存在的内容，包括概念、事实或逻辑关系，而这种情况是一个双刃剑，在一些需要创意的场景下非常有用，而对于某些需要可靠信息的场景下又非常严重

（2）数据范围问题，大模型通常采用大量数据进行预训练，这个预训练的数据尽管庞大却也有限，总归只是无限数据的有限子集，当我们问题完全超出了这个范围（比如在2024年8月之前，哈里斯还没有正式宣布竞选美国总统，而大模型的预训练数据只到了2024年7月），大模型生成的内容就有可能不是事实（当然，也有可能它“蒙”对了）。

（3）领域知识问题，由于大模型是在大量公开语料上训练，因此所学习的相关事实、语言风格、推理逻辑等都是公开语料数据特性，自然无法涵盖某些特定领域的情况。

      RAG本质上就是大模型（生成），大模型能干啥，它就能干啥，并且对大模型进行数据增强，在很多场景中应用价值更高。

2. 生成式检索

       顾名思义，就是用生成式的方法来开展信息检索。这个说法既体现了研究方法（生成式的方法），又体现了研究目的（检索，也就是找到需要的信息）。由于当前生成式技术主要就是指大模型，所以就是基于大模型技术研究信息检索。信息检索是一个很大、划分很细的研究方向，有很多问题待研究（包括查询理解、文档召回、结果排序以及面向文档理解、问答、推荐等应用的检索），而生成式检索是一种技术路径。

       我们仔细想一下，检索和生成的区别是什么？从用户获取信息的过程来看，似乎关系是生成比检索更进了一步，当我们说检索的时候，一般就是找到最相关的数据，然后就不管了。生成呢？生成听起来应该是面向用户的具体目的的，比如用户提出了一个具体的问题，生成给出这个问题的答案，又比如用户要求“写一个报告”，我们就生成一个完整（至少是看起来完整）的报告。

       生成式检索是用大模型去做检索，RAG是用检索去辅助大模型（的生成），而大模型本质上是在预训练过程内化到其模型内核的概率空间中做检索。

       最终的目的其实是一样的：提供用户需要的信息；技术理念也是一致：将用户信息需求与候选信息之间做匹配，而这种匹配则从简单的关键词匹配发展到了语义匹配，真正体现了智能。

3. 可信获取

       顾名思义，就是数据获取是否可信以及如何做到可信地获取数据。但看名字，貌似与大模型没有关系。但是在当前大模型研究异常火爆的趋势下，采用大模型进行数据获取也是可以理解的。

       数据获取的过程，自然是为了某个特定目标，从某个特定的对象或系统进行数据采集、搜集。如果我们知道这个对象就是一个是数据库，我们直接从数据库里面取出来数据，那就没什么研究价值，库里面存的是啥就是啥，如果还不可信，那就是两种情况：入库的数据本身不可信，或者是可信的数据入了库，但是后来变得不可信。前者不在我们考虑的过程内；后者则属于传统的信息安全领域问题，通过校验码之类的方法的就可以解决。因此，我们现在说的可信获取，是指这个对象/系统对我们来说不是完全可见的，甚至就是黑盒。比如我们通过网页或者网站API获取了数据，那么我们要问，这个数据是可信的吗？如果我们可以给API添加一些可以改变输出的参数，我们应该如何操作让它的返回是可信的呢？你看，这里这个网页或者API的后台，是不是可以是一个大模型呢？当然，也可能是一个简单的计算处理逻辑或者传统的机器学习模型（也就是小模型）。总之，可信获取研究在当下，跟大模型有关系。

        现在假设就是大模型，那么研究内容就是判定大模型的输出结果是否可信，以及如何让大模型生成可信的结果。由于现在大模型通常就是指生成式大语言模型，那么可信获取可以称为可信生成。既然是为了做可信生成，是不是在研究大模型的生成结果是否可信以及如何做到可信的呢？那这样，就跟RAG产生了紧密的联系，只是区别在于，“可信获取”是从研究目的角度来说的，这个目的就是要判断获取信息是否可信以及如何做到可信；“RAG”则是从研究方法角度来说的，这个方法就是通过信息检索的方法，增强大模型的知识范围，从而达到信息的“可信”、“及时”、“领域针对性”等目的。