![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AIGC
文章平均质量分 90
李明朔
这个作者很懒,什么都没留下…
展开
-
LlamaIndex——高级检索/查询
self,) -> None:else:每个响应合成器都继承自 llama_index.response_synthesizers.base.BaseSynthesizer。基本 API 非常简单,这使得可以轻松创建自己的响应合成器。下面我们展示了init() 函数,以及每个响应合成器必须实现的两个抽象方法。基本要求是处理查询和文本块,并返回字符串(或字符串生成器)响应。原创 2024-05-20 14:15:15 · 1029 阅读 · 0 评论 -
LlamaIndex——RAG概述
目前,以下组件是 Transformation 对象:文本分割器、节点解析器、元数据提取器、Embeddingsmodel(查看我们支持的嵌入列表)。除了这些模块,我们可以自定义转换操作,例如import re],原创 2024-04-03 06:16:34 · 1446 阅读 · 0 评论 -
大模型训练和推理
大模型训练moe是指混合专家(Mixture-of-experts,简称MoE)的,这是一种用于提高大型神经网络性能的技术,它可以将模型的一部分替换为多个专家,每个专家只负责处理一部分输入数据,从而增加模型的参数量和表达能力,同时减少计算量和训练时间。指令可以作为模型的输入的一部分,也可以作为模型的输出的一部分,具体取决于任务的类型。上下文扩展技术的,这是一种用于提高大型语言模型(LLM)对长文本的处理能力的技术,它可以让模型在不增加参数量的情况下,扩展其注意力范围,从而提高模型的语言理解和生成能力。原创 2024-02-27 05:24:00 · 2341 阅读 · 0 评论 -
扩散模型学习(四)
音频的’波形’从时间上表现出了源音频 - 比如,这可能是接收自麦克风的电信号。从这种’时域’的表达方式上做处理会有些棘手,所以有种更普遍的做法把它转换成其他形式,通常把这叫做频谱。这条音频的采样率会更高 - 如果我们想用目前的这个pipeline,需要对它’重采样’来匹配。这个片段也比pipeline所预设的长度更长。幸运的是,当我们使用pipe.mel在加载音频时,会自动把它切片成更短的片区。音频不是直接被扩散模型生成, 而是这个pipeline有着与图像生成pipelines类似的2D Unet结构。转载 2023-11-08 12:31:03 · 242 阅读 · 0 评论 -
扩散模型学习(三)
此外,除了把用于暗示带噪程度的timestep输入进 UNet 作为条件外,这里模型也把文字提示(prompt)的文本嵌入(text embeddings)作为了额外输入。可变分自编码器(VAE)是一种模型,它可以将输入编码成一种被压缩过的表示形式,再把这个“隐式的”表示形式解码成某种接近输入的输出。首先,我们手动进行分词,并将它输入到文本编码器中,再使用管线的 _encode_prompt 方法,观察一下完成的过程,这包括补全或截断分词串的长度,使得分词串的长度等于最大长度 77。转载 2023-11-01 07:04:14 · 181 阅读 · 0 评论 -
扩散模型学习(二)
另外,由于这个过程是可微分的,我们可以使用它作为损失函数去引导我们的扩散模型。第一,我们是在从 UNet 得到噪声预测后才给 x 设置 requires_grad 的,这样对内存来讲更高效一点(因为我们不用穿过扩散模型去追踪梯度),但这样做梯度的精度会低一点。这里我们要介绍引导(guidance),它可以用来在采样的过程中施加额外控制。第一步,我们先创建一个函数,定义我们希望优化的一个指标(损失值)。第二种方法是,我们先给 x 设置 requires_grad,然后再送入 UNet 并计算预测出的 x0。转载 2023-10-27 12:56:23 · 252 阅读 · 0 评论 -
扩散模型学习(一)
噪声管理器决定在不同的迭代周期时分别加入多少噪声。大多数扩散模型使用的模型结构都是一些 U-net 的变形。Diffusers 为我们提供了一个易用的UNet2DModel类,用来在 PyTorch 创建所需要的结构。),),转载 2023-10-19 14:18:11 · 788 阅读 · 0 评论