墨染辉-CSDN博客

原创大模型生成时的参数设置怎么调整？

在使用大型语言模型（如GPT-3、GPT-4等）进行文本生成时，调整生成参数（Generation Parameters）是优化生成结果质量和多样性的重要手段。设置为True后，生成方法转变为束搜索与多项式采样相结合的解码策略，增加生成内容的多样性和创造性。通过不断实验和优化，您可以找到最适合您任务的参数设置，提升大模型生成内容的质量和效果。建议通过实验和观察生成内容，逐步优化参数设置，以达到最佳效果。通过理解每个参数的作用和调整策略，您可以根据具体任务需求，生成更符合预期的内容。

2024-10-06 16:51:06 567

原创详细解释：前向传播、反向传播等

反向传播（Backward Propagation）**是训练神经网络的两个核心过程。通过理解和掌握这两个过程，可以更好地设计、训练和优化神经网络模型，提升其在各种任务中的表现。它基于损失函数的梯度，通过链式法则（Chain Rule）将误差从输出层逐层传播回输入层，计算每个参数对损失的贡献。是指数据从输入层经过各个隐藏层，最终到达输出层的过程。在神经网络中，每一层的输出依赖于上一层的输出，通过链式法则，可以逐层计算梯度。通过反复执行前向传播和反向传播，模型逐步优化其参数，以达到更好的任务表现。

2024-10-06 16:49:13 767

原创【无标题】

是一种参数高效的微调方法，旨在通过在输入序列前添加一段可训练的“前缀”来适应特定任务，而无需微调整个预训练模型的所有参数。**前缀微调（Prefix-Tuning）**通过在输入序列前添加一组可训练的虚拟前缀向量，实现了对大型预训练模型的高效适应。通过这些步骤和机制，前缀微调能够在保持预训练模型参数不变的同时，仅通过优化前缀向量，实现对特定任务的高效适应和性能提升。是一种参数高效的微调方法，旨在通过在输入序列前添加一段可训练的“虚拟前缀”向量，使预训练模型适应特定任务，而无需微调整个模型的所有参数。

2024-10-04 22:10:35 786

原创高效参数微调

这种方法通过选择模型中的部分参数进行更新，而不是全部参数，从而减少微调所需的计算和存储资源。

2024-10-04 20:21:48 923

原创微调方法概述

通过优化输入提示（prompts）来引导模型生成所需的输出，而不改变模型的主要参数。P-Tuning：在Prompt-Tuning的基础上，添加一些可训练的提示向量，提高模型的适应能力。：在模型的权重矩阵中引入低秩矩阵，仅更新这些低秩矩阵，从而减少需要训练和存储的参数量。AdaLoRA：LoRA的改进版本，动态调整低秩矩阵的参数，提高适应性和效果。全参数微调适用于需要最大化模型性能且具备足够计算资源的场景。

2024-10-04 19:38:43 359

原创 10.2 如何解决从复杂 PDF 文件中提取数据的问题？

嵌入式表格检索是一种有效的方法，能够解决从复杂 PDF 文件中提取数据的问题。通过结合表格检测、解析、嵌入和语义检索技术，可以准确地从复杂的表格中获取所需的信息，满足用户的查询需求。对于需要处理大量包含复杂表格的 PDF 文档的场景，该技术具有重要的应用价值。是一种专门针对从复杂 PDF 文件中的表格提取数据的技术。它结合了表格识别、解析和语义理解，使得从复杂结构的表格中检索信息成为可能。

2024-10-04 17:56:30 1180

原创 RAG 索引优化有哪些优化策略？

当我们从检索系统中得到大量的相关文档时，直接将所有内容拼接到提示（prompt）中传递给大语言模型，可能会超过模型的上下文窗口限制，或者导致模型处理效率低下。：RAG（检索增强生成）在检索召回率方面表现较低，尝试过调整块大小（chunk size）和采用混合检索方法，但效果不佳，需要进一步优化。是一种利用假设性文档来改进检索的技术。具体来说，先让模型根据查询生成一个假设的回答，然后将这个回答向量化，用来检索相似的真实文档。：对检索到的文档进行重新排序，优先展示与查询最相关的内容，减少不必要的信息干扰。

2024-10-04 16:50:50 920

原创 pdf处理2

介绍：通过使用文本摘要模型对每个长文档进行摘要提取，然后对这些摘要内容建立索引。在需要回答用户的查询时，系统从索引中找到相关的摘要内容，再通过语言模型生成回答。存在的问题对整本书籍进行文本摘要需要较高的计算资源和时间。摘要可能会丢失一些关键信息，导致无法完整反映原文内容的细节和深度。介绍：这种方法先从长文档中提取多级标题，利用这些标题来理解文档结构和主要内容。然后，可以对这些标题进行语义扩充，即补充相关内容以增强信息的完整性，或者向量库检索与标题相关的文本片段。

2024-10-03 15:49:41 876

原创 pdf处理1

处理PDF文件以构建数据索引涉及多个步骤和技术，关键在于准确地识别和提取不同类型的内容，并将其结构化存储。通过使用先进的工具和模型，可以有效地解决PDF处理中的各种难点，确保数据索引的准确性和高效性。希望这个解释能帮助你更好地理解PDF文件在数据索引构建中的处理过程！

2024-10-03 15:48:27 838

原创生成器--

什么是生成器？在RAG系统中，**生成器（生成组件）**是系统的核心部分之一。简单来说，生成器的任务是根据检索到的信息，生成自然、流畅且有意义的文本回答。生成器的作用转化信息为文本传统输入：通常，生成器接收用户的查询（问题）和一些上下文信息（如先前的对话内容）。RAG系统中的额外输入：除了传统的上下文信息，生成器还会接收检索器（检索模型）找到的相关文本片段（即与用户查询相关的文档部分）。更深入理解问题背景通过结合检索到的文本片段，生成器能够更全面地理解用户问题的背景和细节。

2024-10-03 15:46:55 840

原创检索器--

在RAG技术中，检索器模块的核心任务是从大量文档中找出与用户查询最相关的内容。为了实现这一点，关键在于构建准确的语义表示。块优化：将文档分割成适当大小的块，并灵活应用多种分块策略，以捕捉更细致的语义特征。微调嵌入模型：使用先进的嵌入模型将文本转换为向量表示，并根据具体应用需求对模型进行微调，以提升语义表示的准确性。在RAG系统中，协调查询和文档的语义空间是确保检索准确性的关键。查询重写通过生成指导性伪文档、假想文档或多查询检索，提升查询的语义明确性和覆盖面。适用于处理用户查询不清晰或复杂的场景。

2024-10-03 15:46:21 735

原创文档切分粒度不好把控

在文档对话系统中，**文档切分（文本分割）**的粒度决定了系统处理和理解文档内容的细致程度。如果切分粒度过大或过小，都可能带来以下问题：噪声过多：语义信息丢失：当前的文档切分方法多基于格式化标记（如HTML标签或PDF中的换行符）进行简单分割，这种方法无法准确捕捉文本的语义结构，导致：举例说明：假设有一个包含多个段落的文档，用户提问关于某一具体主题。如果文档切分过大，一个文本块可能包含多个主题，LLM在处理时可能无法聚焦于用户关心的具体部分，导致回答泛泛而谈或遗漏关键信息。为了解决上述痛点，提出了基于语义级

2024-10-03 15:41:37 984

原创 LLM-文档检索-召回

整体思路：基于LLM的文档对话架构分为两部分：检索部分的核心原则是：二级索引架构：语义切分方法：关键信息提取：

2024-10-02 17:15:26 320

原创常见的文本嵌入模型文本嵌入模型、langchain

内容生成与处理选择：LLM（如 OpenAI 的理由：提供高质量语义嵌入，适用于复杂文本生成和处理任务。对话与交互选择：聊天模型（如 ChatGPT）理由：能够管理多轮对话和上下文，提供自然的对话体验。信息检索与相似性分析选择：文本嵌入模型（如 Sentence-BERT、OpenAIEmbeddings）理由：高效的语义检索和相似性计算，适用于文档检索和推荐系统。LangChain是一个功能强大的框架，专为构建基于大型语言模型的应用程序设计。令牌使用效率低：可以通过使用Tiktoken。

2024-09-30 21:54:29 730

原创 LangChain 核心概念简介

通过理解和利用LangChain的核心概念，开发者可以构建适应性强、高效且能够处理复杂用例的高级语言模型应用程序。高效开发：模块化设计和预定义工具减少开发时间和复杂度。可扩展性强：灵活组合组件和工具，轻松扩展应用功能。智能化响应：Agents 和 Toolkits 提供多功能和智能化的用户交互。优化用户体验：维护对话上下文，提供连贯自然的交互体验。应用场景。

2024-09-30 20:45:19 468

原创 Batch_size

数据质量和代表性确保模型学到有用的、准确的信息。Prompt 多样化帮助提高模型的适应能力和鲁棒性，提升面对不同任务和问题的表现。多任务数据量平衡有助于避免模型偏向某个特定任务，确保整体性能。

2024-09-30 19:58:41 931

原创如何避免灾难性遗忘？

为了避免灾难性遗忘，可以采取以下几种策略：

2024-09-20 22:00:25 357

原创微调方法及其区别

在训练和优化这些Transformer模型时，常用的微调方法包括全参数微调、低秩适配（LoRA）、监督微调（SFT）和指令微调（Instruction Fine-Tuning）等。微调方法调整参数数量资源需求适用场景优点缺点全参数微调全部参数高需要最佳性能且资源充足的任务最高的性能提升高计算资源和显存需求LoRA部分参数低资源有限或需要多任务切换的情况高效、低资源消耗、灵活性强可能不如全参数微调表现好监督微调 (SFT)全部或部分中需要精确任务表现的应用。

2024-09-20 19:14:50 802

原创还有哪些其他的基于transformer架构模型？

*自回归生成（Autoregressive Generation）**是一种文本生成方法，模型通过逐步预测下一个词语来生成完整的句子或段落。每一步生成的词语都会作为上下文的一部分，用于预测下一个词。特点：逐步生成：模型一次生成一个词，基于之前生成的词预测下一个词。上下文依赖：每个生成的词依赖于之前生成的所有词，因此模型需要记住整个生成过程的上下文。适用于生成任务：如文章写作、对话生成、代码编写等。假设我们要让模型生成一句话，“我喜欢吃苹果。输入：开始生成，“我喜欢吃”模型生成下一个词：苹果。

2024-09-20 19:11:20 555

原创双向编码和单向编码这两个与Decoder-Only、Encoder-Only、Encoder-Decoder 之间有什么关系？

定义：模型在处理每个词时，同时考虑其左侧和右侧的上下文信息。优势更准确的语义理解。能够捕捉复杂的语言结构和多义词的正确含义。应用：主要用于需要深度理解输入文本的任务，如文本分类、情感分析、命名实体识别（NER）、问答系统等。**双向编码（Bidirectional Encoding）与单向编码（Unidirectional Encoding）**描述的是模型在处理文本时如何利用上下文信息。双向编码：同时考虑词语的前后文，适用于理解任务。单向编码：只考虑一侧的上下文，适用于生成任务。

2024-09-20 19:08:41 875

原创 c++二维数组

2.将一个二维数组旋转90度，可以先转置在水平交换。1.swap函数可以直接交换数据中的两个元素的值。

2024-05-13 21:41:02 130 1

原创 c++向量和区间

在编程中，什么叫做向量，什么叫做区间ChatGPTChatGPT在编程上下文中，尤其是在像 C++ 这样的编程语言中，"向量"和"区间"有其特定含义和用途，通常关联于容器和数据结构。

2024-05-09 21:11:42 888 1

原创 langchain_MultiQueryRetriever

G:\python_vs\langchai_guanfang\MultiQueryRetriever_2.ipynb（自定义）G:\python_vs\langchai_guanfang\MultiQueryRetriever_1.ipynb(内置)可以使用内置的组件（默认产生三个相似的提问），可以自定义。明确看到产生的几个相似的提问。作用：根据你的提问产生几个相似的提问。

2023-10-20 20:30:04 174 1

原创 ModuleNotFoundError: No module named ‘langchain.chat_models‘

pip install langchain==0.0.186

2023-10-16 19:56:42 1334 1

原创 Pytorch深度学习实践第十二讲循环神经网络（基础篇）_2

方法描述：首先我们可以将“hello”中每个字母对应一个索引，之后得到输入“hello”和输出“ohlol”的编码分别为10223和31232。对编码中的每一个数字，都可以转换成一个四维张量（通过在对应张量对应索引填充为1，其余填充为0），如下图所示。这样我们的输入序列有5个元素，每个元素的维度为4。任务描述：我们需要训练一个模型，输入是“hello”，使输出是“ohlol”。四、Embedding。

2023-10-09 19:26:47 106 1

原创 Pytorch深度学习实践第十二讲循环神经网络（基础篇）_1

一、RNN简介RNN网络最大的特点就是可以处理序列特征，就是我们的一组动态特征。比如，我们可以通过将前三天每天的特征（是否下雨，是否有太阳等）输入到网络，从而来预测第四天的天气。我们可以看RNN的网络结构如下：二、RNN Cell用法。

2023-10-09 19:13:52 76 1

原创 PyTorch 深度学习实践第11讲（ResidualBlock的使用，解决梯度消失）

2、跳连接，H(x) = F(x) + x,张量维度必须一样，加完后再激活。不要做pooling，张量的维度会发生变化。说明：1、要解决的问题：梯度消失。

2023-10-07 18:43:34 174 1

原创 PyTorch 深度学习实践第11讲（inception的使用）

3、Inception Moudel由4个分支组成，要分清哪些是在Init里定义，哪些是在forward里调用。4个分支在dim=1(channels)上进行concatenate。2、1x1卷积核，不同通道的信息融合。使用1x1卷积核虽然参数量增加了，但是能够显著的降低计算量(operations)1、卷积核超参数选择困难，自动找到卷积的最佳组合。

2023-10-07 16:59:48 188 1

原创 PyTorch 深度学习实践第10讲

3、卷积(convolution)后，C(Channels)变，W(width)和H(Height)可变可不变，取决于是否padding。subsampling(或pooling)后，C不变，W和H变。5、卷积层要求输入输出是四维张量(B,C,W,H)，全连接层的输入与输出都是二维张量(B,Input_feature)。2、每一个卷积核它的通道数量要求和输入通道是一样的。这种卷积核的总数有多少个和你输出通道的数量是一样的。6、卷积(线性变换)，激活函数(非线性变换)，池化；4、卷积层：保留图像的空间信息。

2023-10-07 14:48:58 47 1

原创 PyTorch 深度学习实践第9讲

比如说0-9分类问题，如果y = torch.LongTensor([3])，对应的one-hot是[0,0,0,1,0,0,0,0,0,0].(这里要注意，如果使用了one-hot，标签y的类型是LongTensor，糖尿病数据集中的target的类型是FloatTensor)1、softmax的输入不需要再做非线性变换，也就是说softmax之前不再需要激活函数(relu)。我对one-hot的理解是只有一位是1，其他位为0。(但是标签的one-hot编码是算法完成的，算法的输入仍为原始标签)

2023-10-07 14:45:28 56 1

zc621_的博客