huggingface generate函数简介

已于 2024-04-14 20:28:07 修改
阅读量9.4k 收藏 50
点赞数 29
分类专栏： 开发环境 # 训练 文章标签： nlp pytorch 语言模型
于 2024-03-18 12:08:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16555103/article/details/136805147
版权

目录

一、generate函数的常见参数 

1. input_ids

2. max_length

3. min_length

4. do_sample

5. temperature

6. top_k

7. top_p

8. num_return_sequences

9. repetition_penalty

10. early_stopping

11. pad_token_id

12. eos_token_id

13. no_repeat_ngram_size

14. encoder_no_repeat_ngram_size

15. attention_mask

16. decoder_start_token_id

17. use_cache

18. num_beams

19. bad_words_ids

20. length_penalty

21. forced_bos_token_id

22. forced_eos_token_id

23. remove_invalid_values

24. logit_bias

 二、generate实际使用的参数

2.1、如果一些参数不给定，model.generate用的是哪些参数呢？

2.2、generate 怎么防止类似eos终止符过早出现呢？

1. 调整max_length和min_length

2. 使用eos_token_id和pad_token_id参数

3. 调整length_penalty

4. 使用stop_token参数

5. 清晰的任务指示（Prompt Engineering）

6. 微调模型

 2.3、generate 怎么对eos过早出现进行惩罚（和上面问题类似）？

1. 使用logit_bias参数调整EOS的生成概率

2. 调整length_penalty

3. 微调模型时添加惩罚

4. 调整终止条件

transformers 库中的 .generate() 函数是一个非常强大的功能，它是用于自动生成文本的。这个函数的参数很多，允许你细致地控制生成过程。下面，简单介绍一些常用的参数及其技术背景。

一、generate函数的常见参数 

1. input_ids

  • 描述：这是传递给模型的输入数据的编码表示，通常是一系列经过编码的token IDs。它是生成文本的起点。
  • 技术背景：在NLP中，我们通常需要将文本转换成模型能理解的数字形式，input_ids就是这个转换过程的结果。

2. max_length

  • 描述：控制生成文本的最大长度。包括输入token的数量在内。
  • 技术背景：在文本生成过程中，限制输出长度是很重要的，以避免生成过长的文本，这会导致生成质量下降或者资源消耗增加。

3. min_length

  • 描述：设置生成文本的最小长度，确保生成的文本不会太短。
  • 技术背景：在某些情况下，我们需要保证输出文本达到一定的长度，增加信息的丰富性。

4. do_sample

  • 描述：是否在生成文本时使用采样策略。如果设置为False，则使用贪心策略进行解码。
  • 技术背景：贪心策略总是选择概率最高的下一个token，这可能导致生成的文本过于确定且缺乏多样性。采样策略引入随机性，使生成的文本更加多样化。

5. temperature

  • 描述：用于调整生成过程中的随机性程度。数值越大，生成的文本越随机。
  • 技术背景：温度调整是调控softmax输出分布的一种方法，可以平滑或者加剧分布中的差异，影响选择下一个token的随机性。

6. top_k

  • 描述：在采样策略中，仅考虑概率最高的前k个token进行随机选择。
  • 技术背景：这是一种称为Top-K采样的方法，能够减少生成文本中的低概率词汇，提高文本的连贯性和质量。

7. top_p

  • 描述：适用于另一种采样策略，保留累计概率达到p的最小集合，然后从这个集合中进行选择。
  • 技术背景：这被称为nucleus采样或Top-p采样，它比Top-K采样更为动态，能够根据不同情况调整采样集合的大小。

8. num_return_sequences

  • 描述：设置生成几个文本。即使输入只有一个，也可以生成多个不同的输出。
  • 技术背景：这个参数允许模型在单次调用中输出多个独立的文本序列，有助于生成文本的多样性和创造力。

9. repetition_penalty

  • 描述：用来防止文本重复的参数，使得模型在选择已经出现的词时变得更加谨慎。
  • 技术背景：为了避免生成的文本过于重复，通过调节这个参数，可以降低重复词汇的选择概率，提高文本的多样性和可读性。

10. early_stopping

  • 描述：是否在所有序列达到eos_token_id时停止生成。
  • 技术背景：这个参数允许提前结束生成过程，当模型生成了结束符（如句点或其他特定符号）时，可以停止继续生成，节省资源。

11. pad_token_id

  • 描述：定义用于填充的token ID。在文本生成中，如果生成的文本短于max_length，这个ID将被用来填充生成文本。
  • 技术背景：在处理不等长的序列时，填充操作确保了所有序列具有相同的长度，便于模型处理。

12. eos_token_id

  • 描述：定义结束序列的token ID。当模型生成了这个ID对应的token时，将停止生成进一步的token。
  • 技术背景：特定的结束标记有助于明确指示文本序列的合理结束，提高生成文本的逻辑性和完整性。

13. no_repeat_ngram_size

  • 描述：禁止生成中出现长度为此值的重复n-gram。这可以防止生成的文本中出现重复的短语。
  • 技术背景：通过限制n-gram的重复出现，可以显著提高文本的多样性和新颖性，避免无聊或重复的内容生成。

14. encoder_no_repeat_ngram_size

  • 描述：这个参数用于在encoder-decoder模型中，防止在encoder部分出现重复的n-grams。
  • 技术背景：主要用于改善带有编码器的模型的输出质量，例如在翻译或摘要任务中防止重复。

15. attention_mask

  • 描述：一个指示哪些位置可以被模型注意到的二进制（0或1）序列。这可以用来避免模型注意到某些特定的token，比如填充token。
  • 技术背景：在注意力机制中，通过为特定的输入位置设置遮罩，可以动态调整模型的焦点，提高模型的效率和效果。

16. decoder_start_token_id

  • 描述：在使用序列到序列（Se
最低0.47元/天 解锁文章
huggingface的generate推理方法源码解读
weixin_38252409的博客
10-25 415
大语言模型基本使用huggingface的generate方法进行推理。而我最近也在使用llama3代码，于是我写下一份huggingface的generate方法，帮助读者了解huggingface如何对大语言模型进行推理。同样，我和其它博客不太一样，我是按照源码来解读huggingface的generate方法。
第一章：huggingface整体介绍
weixin_38252409的博客
06-14 844
Hugging Face是一家专注于自然语言处理(NLP)和对话系统的创新型公司。它成立于2016年,总部位于纽约,由两位热衷于开源的机器学习工程师Clément Delangue和Julien Chaumond创立。Hugging Face的使命是推动NLP技术,让更多人能够轻松地访问和使用先进的语言模型。Hugging Face的主要产品包括Transformers库、Datasets库、Tokenizers库以及Hugging Face Hub等。
model.generate()参数详解
AI前沿技术的分享！
02-11 1364
num_return_sequences（int，可选，默认为1）— 对于批处理中的每个元素，独立计算返回的序列数量。output_attentions（bool，可选，默认为False）— 是否返回所有注意力层的注意力张量。有关详细信息，请参阅返回的张量下的attentions。output_hidden_states（bool，可选，默认为False）— 是否返回所有层的隐藏状态。有关详细信息，请参阅返回的张量下的hidden_states。
逐行讲解transformers中model.generate()源码
芒果不茫的博客
10-23 6465
本文逐行解析transformers源码中的.generate()函数，让你知道除了模型生成还做了哪些额外操作，加深你对底层代码的理解
【Hugging Face】transformers 库中 model.generate() 方法：自回归模型的文本生成方法
彬彬侠的博客
03-10 678
model.generate是transformers库中的文本生成（Text Generation）方法，适用于自回归模型（如GPT-2、T5、BART、LLAMA），用于生成文本、摘要、翻译、问答等。generate是Hugging Face提供的文本生成方法，适用于GPT、T5、BART等模型。支持多种生成策略：temperature控制创造性，top_k限制候选词，top_p选择最优词，do_sample=True进行随机采样。适用于多种NLP任务：文本生成（GPT-2,LLaMA），机器翻译（T5
Huggingface 的 generate 方法介绍：top_p sampling/top_k sampling/greedy_search/beam_search 等
kebijuelun的博客
07-16 1032
接下来，我们将使用GPT2在上下文（“I”, “enjoy”, “walking”, “with”, “my”, “cute”, “dog”）上生成单词序列（“I”,“enjoy”,“walking”,“with”,“my”,“cute”,“dog”）。然而，最近有更多的证据表明，贪婪搜索和束搜索的明显缺陷（主要是生成重复的单词序列）是由模型（尤其是模型的训练方式）引起的，而不是解码方法引起的，参见。的 6 个最有可能的词仅占据了大约三分之二的概率质量，但在第二步中，几乎包含了所有的概率质量。
深入了解 Hugging Face 中的生成工具：Generate方法
WeLearnNLP
04-08 3976
自然语言生成是自然语言处理领域的一个热门研究方向。Hugging Face 是当前最为流行的自然语言处理库之一，其在自然语言生成领域也提供了一系列实用的工具，以便开发者能够更方便地构建、训练和部署自然语言生成模型。本文将深入介绍 Hugging Face 中的生成工具，涵盖其原理、实现细节以及如何使用这些工具构建自然语言生成模型。
huggingface的生成模型
hxxjxw的博客
05-31 2381
【代码】huggingface的生成模型。
huggingface的generate推理源码解读
weixin_38252409的博客
07-30 942
大语言模型基本使用huggingface的generate方法进行推理。而我最近也在使用llama3代码，于是我写下一份huggingface的generate方法，帮助读者了解huggingface如何对大语言模型进行推理。同样，我和其它博客不太一样，我是按照源码来解读huggingface的generate方法。
Huggingface 模型修改
qq_44761480的博客
07-25 4404
Huggingface里面的模型封装的很好，想要直接修改代码并非容易的事，但是如果看文档，它有很多参数，能把你想到的大部分结果取出来，下面我就以一次经历来讲讲我如何在T5模型上面加一个featurefusion层。复制下来查看，发现可以直接用T5.encoder对input_ids进行编码，然后把encoder_outputs直接输入T5ForConditionalGeneration，就可以了。查看文档，可以直接把模型的输入参数输入generate函数里面。...
huggingface transformers实战系列-05_文本生成
yanqianglifei的专栏
04-08 2936
本文主要讲述如何通过huggingface transformers加载gpt2模型，实现多种文本解码方式
[AI]如何让语言模型LLMs流式输出：HuggingFace Transformers实现
热门推荐
weixin_44491772的博客
06-14 1万+
HugginFace Transforms是一个非常方便的库，集成了非常多SOTA的模型，包含：LLAMA, GPT, ChatGLM Moss，等。目前基本上主流的方案都是基于HugginFace Transforms这个框架实现的。以前如果要流式输出需要自己去改模型底层的推理逻辑。
generate-model:生成模型架构和属性
04-06
生成模型 生成模型架构和属性 安装 composer require " chenqinru/generate-model "
vllm generate推理与Huggingface generate推理对齐(长样本)
鲨鱼儿的博客
06-24 8180
一、
LLM 的model.generate() 参数说明
最新发布
ZJQ的博客
04-09 81
LLM 的model.generate() 参数说明 生成长度控制参数 采样策略参数 重复惩罚参数 束搜索参数 其他参数
model.generate函数返回值的理解
weixin_53737574的博客
03-09 193
当model.generate()的参数output_scores和return_dict_in_generate都设置为true时,该方法可以返回sequences和scores。的数目，而generated_ids包含。
huggingface 笔记：聊天模型
qq_40206371的博客
05-21 926
在原来生成的chat的基础上，追加一条消息，并将其传入pipeline。
llama大模型提前停止策略，实现工具调用——以Llama3为例
huijigo的博客
05-21 2707
在大模型的generate过程中为了实现工具调用功能，模型输出到了指定的token需要执行工具的时候，需要模型的generate停止。上面的代码中，使用StoppingCriteriaList方法包裹了我们实例化的自定义的StoppingCriteria的子类，并用列表包裹起来。其中有一个参数：stopping_criteria，用于判断模型输出是否应该停止，下面介绍具体方案。上面的代码中，构造函数一般用来确定我们要停止的tokens。缺点：感觉这样的方案使得模型的推理失去了并行性。
Transformers中文本生成方法model.generate()参数解释
尚拙的博客
06-02 6615
本博客仅作为记录，参考：LLM（大语言模型）解码时是怎么生成文本的？ - 爱码网
huggingface generate
12-15
Huggingface generate是一个基于Huggingface平台的文本生成模型。它利用最先进的自然语言处理技术，如GPT-3和BERT，能够生成高质量、流畅的文本内容。用户可以通过简单的输入指令，让模型生成符合需求的文本，如文章、对话、句子等。 Huggingface generate的使用非常方便，用户只需提供输入文本的主题或关键词，模型会根据这些信息生成相关的文本内容。同时，用户也可以设置生成文本的长度、风格、语气等参数，以满足特定的需求。 该模型在多个领域都有广泛的应用，比如文学创作、广告文案、对话生成等。它可以帮助用户快速生成大量的文本内容，节省时间和精力。另外，Huggingface generate还可以用于文本的增强和改进，帮助用户提升文本的质量和吸引力。 总的来说，Huggingface generate是一个功能强大、易于使用的文本生成工具，为用户提供了高效、便捷的文本创作体验。随着自然语言处理技术的不断发展，相信Huggingface generate在文本生成领域会发挥越来越重要的作用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值