大模型直接预测下一个句子，更快、更准、更长！-CSDN博客

本文链接：https://blog.csdn.net/m0_59235945/article/details/142643123

近日，ArXiv上一篇名为《SentenceVAE：Enable Next-sentence Prediction for Large Language Models with Faster Speed, Higher Accuracy and Longer Context》的论文引起了国外网友的讨论。

论文链接：

https://arxiv.org/abs/2408.00655
代码仓库：

https://github.com/BestAnHongjun/SentenceVAE

模型方法

论文中，作者指出，当前主流的大模型大多采用token-by-token的自回归方式进行推理，这种方式严重限制了大模型的推理速度。为了解决这一问题，作者团队提出了一种新颖的推理方式：Next-sentence Prediction，使用大模型直接预测下一个句子。

为了实现这一方式，作者团队首先使用大量语料预训练了一个小模型——句子变分自编码器（Sentence Variational Autoencoder, SentenceVAE），由一个句子编码器和一个句子解码器构成，分别仅有1~4层。其中，句子编码器可以将一个句子中的多个token编码为一个单独的嵌入向量（Sentence-level Token），句子解码器可以将该嵌入向量还原为原始句子中的多个token。

SentenceVAE架构图

通过将句子编码器和解码器分别嫁接在当前主流大模型的首尾，并加以微调，大模型便可以工作在Sentence-level的嵌入空间，升级为Sentence-level LLM (SLLM)！

现有LLM (a) 与 SLLM (b)架构对比

更快的推理速度

假设有一句话含有10个token，在当前LLM逐token生成的方式下，大模型需要迭代10次，而SLLM进需要迭代1次，从而大幅提升了大模型的推理速度。

作者团队将深度为1_{4层的SentenceVAE分别嫁接在OPT-125M、OPT-350M、OPT-1.3B模型的首尾（SLLM），并将原始OPT模型（LLM）作为基线（baseline）进行实验。实验结果表明，SLLM的token生成速度相比各LLM可分别提升200}300%！

同时，随着主体LLM参数量的增加，SentenceVAE推理所占用的计算资源比例将逐渐降低，从而获得更高的速度收益。也就是说，模型越大，提速越明显！

更低的困惑度

作者团队使用上述同样的方式在万卷数据集上进行实验，发现SLLM相比LLM困惑度分别降低了46~75%！

作者在文中指出，困惑度降低的原因可能在于：

通过SentenceVAE，SLLM可以在更高的句子语义层次对自然语言进行理解；
同样的上下文长度，在SentenceVAE的帮助下，SLLM相比LLM可以处理相对更少的token数量，从而在Attention操作时使注意力分布更加集中。

更长的上下文长度

作者团队同样实验了生成相同上下文长度时的显存占用情况，发现SLLM相比LLM显存占用分别降低了86~91%！这使得在相同显存资源条件下，SLLM可以支持更长上下文的推理。

SLLM的Scaling Law

虽然作者团队仅在125M-1.3B参数规模的大模型上进行了验证性的实验，但是在实验过程中，他们发现SLLM同样遵循Scaling Law，意味着该架构可以推广至更大规模的模型。

SLLM (a) 与 SentenceVAE (b) 的Scaling Law

国外网友的讨论

一位ID名称为Tunadorable网友阅读该文并在YouTube上发表了对SentenceVAE的见解后，迅速引起了国外网友的讨论。

有不少网友表达了对该想法的肯定：

在这里插入图片描述

有网友头脑风暴称，SentenceVAE或许是“文本扩散模型”的良好基础。

LinkedIn上也有网友表示，SentenceVAE或许是主流大模型的下一个重大趋势！

当然，也有网友犀利地指出了这项工作的不足，比如：

工作仍然处于比较初步的阶段，目前仅在英文数据集上进行了实验
在分割句子时暂时采用的是按照标点符号进行分割的方法，在对于一些诸如代码生成、CSV文件生成的任务上可能会有严重不足，需要有基于学习机制的分句器来更新

来自作者团队的回复

在AlphaXiv社区中，作者对网友的部分讨论进行了回复：

作者表示，他们当前的工作主要是为了验证Sentence-level范式的可行性，因此在分割句子时采用了使用标点符号分割这种便捷的方式。作者表达了对“可学习分句模型”想法的肯定，并表示这的确是他们下一阶段的计划。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述