huggingface generate函数简介

已于 2024-04-14 20:28:07 修改
阅读量9.9k 收藏 50
点赞数 29
分类专栏： 开发环境 # 训练 文章标签： nlp pytorch 语言模型
于 2024-03-18 12:08:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16555103/article/details/136805147
版权
文章详细介绍了transformers库中generate函数的常见参数及其技术背景，包括如何控制文本生成长度、多样性和一致性，以及如何防止EOS过早出现。这些参数在自动生成文本时提供了丰富的控制选项。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、generate函数的常见参数 

1. input_ids

2. max_length

3. min_length

4. do_sample

5. temperature

6. top_k

7. top_p

8. num_return_sequences

9. repetition_penalty

10. early_stopping

11. pad_token_id

12. eos_token_id

13. no_repeat_ngram_size

14. encoder_no_repeat_ngram_size

15. attention_mask

16. decoder_start_token_id

17. use_cache

18. num_beams

19. bad_words_ids

20. length_penalty

21. forced_bos_token_id

22. forced_eos_token_id

23. remove_invalid_values

24. logit_bias

 二、generate实际使用的参数

2.1、如果一些参数不给定，model.generate用的是哪些参数呢？

2.2、generate 怎么防止类似eos终止符过早出现呢？

1. 调整max_length和min_length

2. 使用eos_token_id和pad_token_id参数

3. 调整length_penalty

4. 使用stop_token参数

5. 清晰的任务指示（Prompt Engineering）

6. 微调模型

 2.3、generate 怎么对eos过早出现进行惩罚（和上面问题类似）？

1. 使用logit_bias参数调整EOS的生成概率

2. 调整length_penalty

3. 微调模型时添加惩罚

4. 调整终止条件

transformers 库中的 .generate() 函数是一个非常强大的功能，它是用于自动生成文本的。这个函数的参数很多，允许你细致地控制生成过程。下面，简单介绍一些常用的参数及其技术背景。

一、generate函数的常见参数 

1. input_ids

  • 描述：这是传递给模型的输入数据的编码表示，通常是一系列经过编码的token IDs。它是生成文本的起点。
  • 技术背景：在NLP中，我们通常需要将文本转换成模型能理解的数字形式，input_ids就是这个转换过程的结果。

2. max_length

  • 描述：控制生成文本的最大长度。包括输入token的数量在内。
  • 技术背景：在文本生成过程中，限制输出长度是很重要的，以避免生成过长的文本，这会导致生成质量下降或者资源消耗增加。

3. min_length

  • 描述：设置生成文本的最小长度，确保生成的文本不会太短。
  • 技术背景：在某些情况下，我们需要保证输出文本达到一定的长度，增加信息的丰富性。

4. do_sample

  • 描述：是否在生成文本时使用采样策略。如果设置为False，则使用贪心策略进行解码。
  • 技术背景：贪心策略总是选择概率最高的下一个token，这可能导致生成的文本过于确定且缺乏多样性。采样策略引入随机性，使生成的文本更加多样化。

5. temperature

  • 描述：用于调整生成过程中的随机性程度。数值越大，生成的文本越随机。
  • 技术背景：温度调整是调控softmax输出分布的一种方法，可以平滑或者加剧分布中的差异，影响选择下一个token的随机性。

6. top_k

  • 描述：在采样策略中，仅考虑概率最高的前k个token进行随机选择。
  • 技术背景：这是一种称为Top-K采样的方法，能够减少生成文本中的低概率词汇，提高文本的连贯性和质量。

7. top_p

  • 描述：适用于另一种采样策略，保留累计概率达到p的最小集合，然后从这个集合中进行选择。
  • 技术背景：这被称为nucleus采样或Top-p采样，它比Top-K采样更为动态，能够根据不同情况调整采样集合的大小。

8. num_return_sequences

  • 描述：设置生成几个文本。即使输入只有一个，也可以生成多个不同的输出。
  • 技术背景：这个参数允许模型在单次调用中输出多个独立的文本序列，有助于生成文本的多样性和创造力。

9. repetition_penalty

  • 描述：用来防止文本重复的参数，使得模型在选择已经出现的词时变得更加谨慎。
  • 技术背景：为了避免生成的文本过于重复，通过调节这个参数，可以降低重复词汇的选择概率，提高文本的多样性和可读性。

10. early_stopping

  • 描述：是否在所有序列达到eos_token_id时停止生成。
  • 技术背景：这个参数允许提前结束生成过程，当模型生成了结束符（如句点或其他特定符号）时，可以停止继续生成，节省资源。

11. pad_token_id

  • 描述：定义用于填充的token ID。在文本生成中，如果生成的文本短于max_length，这个ID将被用来填充生成文本。
  • 技术背景：在处理不等长的序列时，填充操作确保了所有序列具有相同的长度，便于模型处理。

12. eos_token_id

  • 描述：定义结束序列的token ID。当模型生成了这个ID对应的token时，将停止生成进一步的token。
  • 技术背景：特定的结束标记有助于明确指示文本序列的合理结束，提高生成文本的逻辑性和完整性。

13. no_repeat_ngram_size

  • 描述：禁止生成中出现长度为此值的重复n-gram。这可以防止生成的文本中出现重复的短语。
  • 技术背景：通过限制n-gram的重复出现，可以显著提高文本的多样性和新颖性，避免无聊或重复的内容生成。

14. encoder_no_repeat_ngram_size

  • 描述：这个参数用于在encoder-decoder模型中，防止在encoder部分出现重复的n-grams。
  • 技术背景：主要用于改善带有编码器的模型的输出质量，例如在翻译或摘要任务中防止重复。

15. attention_mask

  • 描述：一个指示哪些位置可以被模型注意到的二进制（0或1）序列。这可以用来避免模型注意到某些特定的token，比如填充token。
  • 技术背景：在注意力机制中，通过为特定的输入位置设置遮罩，可以动态调整模型的焦点，提高模型的效率和效果。

16. decoder_start_token_id

  • 描述：在使用序列到序列（Se
最低0.47元/天 解锁文章
LLM 的model.generate() 参数说明
ZJQ的博客
04-09 169
LLM 的model.generate() 参数说明 生成长度控制参数 采样策略参数 重复惩罚参数 束搜索参数 其他参数
[AI]如何让语言模型LLMs流式输出：HuggingFace Transformers实现
weixin_44491772的博客
06-14 1万+
HugginFace Transforms是一个非常方便的库，集成了非常多SOTA的模型，包含：LLAMA, GPT, ChatGLM Moss，等。目前基本上主流的方案都是基于HugginFace Transforms这个框架实现的。以前如果要流式输出需要自己去改模型底层的推理逻辑。
huggingface的generate推理源码解读
weixin_38252409的博客
07-30 1013
大语言模型基本使用huggingface的generate方法进行推理。而我最近也在使用llama3代码，于是我写下一份huggingface的generate方法，帮助读者了解huggingface如何对大语言模型进行推理。同样，我和其它博客不太一样，我是按照源码来解读huggingface的generate方法。
深入了解 Hugging Face 中的生成工具：Generate方法
WeLearnNLP
04-08 4019
自然语言生成是自然语言处理领域的一个热门研究方向。Hugging Face 是当前最为流行的自然语言处理库之一，其在自然语言生成领域也提供了一系列实用的工具，以便开发者能够更方便地构建、训练和部署自然语言生成模型。本文将深入介绍 Hugging Face 中的生成工具，涵盖其原理、实现细节以及如何使用这些工具构建自然语言生成模型。
Huggingface 的 generate 方法介绍：top_p sampling/top_k sampling/greedy_search/beam_search 等
kebijuelun的博客
07-16 1083
接下来，我们将使用GPT2在上下文（“I”, “enjoy”, “walking”, “with”, “my”, “cute”, “dog”）上生成单词序列（“I”,“enjoy”,“walking”,“with”,“my”,“cute”,“dog”）。然而，最近有更多的证据表明，贪婪搜索和束搜索的明显缺陷（主要是生成重复的单词序列）是由模型（尤其是模型的训练方式）引起的，而不是解码方法引起的，参见。的 6 个最有可能的词仅占据了大约三分之二的概率质量，但在第二步中，几乎包含了所有的概率质量。
huggingface的生成模型
hxxjxw的博客
05-31 2424
【代码】huggingface的生成模型。
huggingface的generate推理方法源码解读
weixin_38252409的博客
10-25 461
大语言模型基本使用huggingface的generate方法进行推理。而我最近也在使用llama3代码，于是我写下一份huggingface的generate方法，帮助读者了解huggingface如何对大语言模型进行推理。同样，我和其它博客不太一样，我是按照源码来解读huggingface的generate方法。
vllm generate推理与Huggingface generate推理对齐(长样本)
鲨鱼儿的博客
06-24 8956
一、
第一章：huggingface整体介绍
weixin_38252409的博客
06-14 901
Hugging Face是一家专注于自然语言处理(NLP)和对话系统的创新型公司。它成立于2016年,总部位于纽约,由两位热衷于开源的机器学习工程师Clément Delangue和Julien Chaumond创立。Hugging Face的使命是推动NLP技术,让更多人能够轻松地访问和使用先进的语言模型。Hugging Face的主要产品包括Transformers库、Datasets库、Tokenizers库以及Hugging Face Hub等。
Huggingface 模型修改
qq_44761480的博客
07-25 4520
Huggingface里面的模型封装的很好，想要直接修改代码并非容易的事，但是如果看文档，它有很多参数，能把你想到的大部分结果取出来，下面我就以一次经历来讲讲我如何在T5模型上面加一个featurefusion层。复制下来查看，发现可以直接用T5.encoder对input_ids进行编码，然后把encoder_outputs直接输入T5ForConditionalGeneration，就可以了。查看文档，可以直接把模型的输入参数输入generate函数里面。...
generate-model:生成模型架构和属性
04-06
生成模型 生成模型架构和属性 安装 composer require " chenqinru/generate-model "
huggingface transformers实战系列-05_文本生成
yanqianglifei的专栏
04-08 2963
本文主要讲述如何通过huggingface transformers加载gpt2模型，实现多种文本解码方式
huggingface 笔记：聊天模型
qq_40206371的博客
05-21 954
在原来生成的chat的基础上，追加一条消息，并将其传入pipeline。
llama大模型提前停止策略，实现工具调用——以Llama3为例
huijigo的博客
05-21 2857
在大模型的generate过程中为了实现工具调用功能，模型输出到了指定的token需要执行工具的时候，需要模型的generate停止。上面的代码中，使用StoppingCriteriaList方法包裹了我们实例化的自定义的StoppingCriteria的子类，并用列表包裹起来。其中有一个参数：stopping_criteria，用于判断模型输出是否应该停止，下面介绍具体方案。上面的代码中，构造函数一般用来确定我们要停止的tokens。缺点：感觉这样的方案使得模型的推理失去了并行性。
Transformers中文本生成方法model.generate()参数解释
尚拙的博客
06-02 6663
本博客仅作为记录，参考：LLM（大语言模型）解码时是怎么生成文本的？ - 爱码网
model.fit_generator()函数参数
热门推荐
qq_32951799的博客
10-01 5万+
fit_generator(self, generator, steps_per_epoch, epochs=1, verbose=1, callbacks=None, validation_data=None, validation_steps=None, class_weight=None, max_q_size=10, workers=1, pickle_safe=False, initi...
【Hugging Face】transformers 库中 model.generate() 方法：自回归模型的文本生成方法
最新发布
彬彬侠的博客
03-10 800
model.generate是transformers库中的文本生成（Text Generation）方法，适用于自回归模型（如GPT-2、T5、BART、LLAMA），用于生成文本、摘要、翻译、问答等。generate是Hugging Face提供的文本生成方法，适用于GPT、T5、BART等模型。支持多种生成策略：temperature控制创造性，top_k限制候选词，top_p选择最优词，do_sample=True进行随机采样。适用于多种NLP任务：文本生成（GPT-2,LLaMA），机器翻译（T5
Transformers 库中的 Tokenizer 使用
wtfloser的博客
06-28 2万+
使用 Transformers 库的 Tokenizer 时发现的一些问题，并给出解决措施。
HuggingFace TGI
02-20
### HuggingFace Transformers Generative Inference 使用指南 #### 安装依赖库 为了使用HuggingFace的Transformers进行生成推理，需先安装`transformers`包。可以通过conda命令来完成这一操作[^1]： ```bash conda install -c huggingface transformers ``` 对于更全面的理解以及更多功能探索，则可以参考关于Transformers更为详尽的文章介绍[^2]。 #### 加载预训练模型 一旦环境配置完毕，就可以导入必要的Python模块并加载一个预先训练好的模型用于文本生成任务。这通常涉及到从Hugging Face Model Hub下载特定架构（如GPT, BERT等）下的某个版本的权重文件[^4]: ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "gpt2" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) ``` 这里选择了`gpt2`作为例子；实际应用中可以根据需求替换为其他支持的语言模型名称。 #### 执行文本生成功能 有了上述准备工作之后，便能够调用模型来进行文本预测了。下面给出了一段简单的代码片段展示如何实现这一点: ```python input_text = "Once upon a time," inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(**inputs, max_length=50, num_return_sequences=1) generated_texts = tokenizer.batch_decode(outputs, skip_special_tokens=True) for text in generated_texts: print(text) ``` 这段脚本首先定义了一个输入字符串`input_text`，接着将其转换成适合传递给神经网络的形式(`return_tensors="pt"`表示返回pytorch张量)，最后利用`.generate()`函数执行生成过程，并设置最大长度和其他选项以控制输出特性。 #### 调整生成参数 除了基本的功能外，还可以进一步调整一些超参数来自定义生成行为，比如温度(temperature)、top-k采样(top_k sampling)或是beam search宽度等等。这些都可以通过修改传入`.generate()`方法中的关键字参数来达成目的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值