生成模型
文章平均质量分 87
alstonlou
这个作者很懒,什么都没留下…
展开
-
RAG简介
大模型幻觉问题(Hallucination in Large Language Models)是指在大型语言模型(LLM)生成文本时,模型可能会产生不正确、无意义或与训练数据无关的内容。这种现象通常发生在模型试图生成看似合理但实际不准确的信息时。RAG可从外部知识库检索事实,以最准确、最新的信息为基础的自然语言模型(LLM),并让用户深入了解LLM的生成过程。原创 2024-08-01 09:07:36 · 261 阅读 · 0 评论 -
Reranker技术
基础 RAG 的操作流程大致如下:首先,你需要将文本切分成小段,然后利用某种 Transformer 编码器模型,将这些文本段转换成向量形式。接着,把所有向量汇集到一个索引里。最后,你需要为大语言模型(Large Language Model, LLM)制定一个提示词,这个提示词会指导模型根据我们在搜索步骤中找到的上下文信息来回答用户的查询。在实际运行过程中,我们会用同一个编码器模型把用户的查询转换成向量,然后根据这个向量在索引中进行搜索。原创 2024-07-31 08:52:55 · 504 阅读 · 0 评论 -
大模型的架构演进史——为什么Decoder-Only成为最终的胜利者
使用encoder-only的模型主要的思路是通过编码器,将大量文本、时序数据等资料进行编码、压缩,达到进一步抽象理解输入数据的能力。encoder-only更加侧重于对信息的压缩与分类,在对输入内容进行扩展的情况下效果不佳。相比较而言,decoder-only需要的计算资源更少,能够更快学习和训练得到最终的模型。使用decoder-only的模型主要是通过解码器,对已输入的信息进行解码衍生。基于encoder-decoder结构的模型,同时能够编码和解码对应的输入信息。和编码信息,而不是生成新的文本。原创 2024-07-29 09:38:40 · 393 阅读 · 0 评论 -
生成模型概述
生成模型是深度学习领域的一类模型,它们的目标是学习如何生成数据的分布,从而能够生成新的、与真实数据类似的样本。以下是一些主要的生成模型:生成对抗网络(GANs):GAN由两个部分组成:生成器(生成新数据)和判别器(区分真实数据和生成的数据)。这两部分在训练过程中相互竞争,提高彼此的性能。应用:图像生成、艺术创作、数据增强、风格迁移等。自回归模型(Autoregressive Models):如Transformer在自然语言处理领域的应用。这些模型预测序列中的下一个元素,基于前面的元素。原创 2024-03-23 16:22:49 · 1797 阅读 · 0 评论 -
sora相关技术,看这一篇就够了
中的编码器模块编码成低维的空间向量表示,经Patches网络,将其中的向量分割为指定大小的模块(例如:16*16*16),并将时空模块通过SD模型进行扩散学习,将经过学习后的数据通过多层的以U-net为backbone的transformer网络恢复成原有大小模块,合并后得到需要的向量表示,最后逆向通过VAE解码器将向量表示输出成指定格式和时长的视频。这个等式的右边又称为。虚线代表的是对后验分布。视频压缩网络的压缩率是多少,Encoder中的复杂度是具体怎么设置的,时空patches中排布的方法等。原创 2024-03-22 08:45:54 · 1484 阅读 · 0 评论