transformers设置StoppingCriteria的实战代码

已于 2024-07-26 11:21:15 修改
阅读量4.5w 收藏 25
点赞数 28
分类专栏： Python基础课程 文章标签： python transformers StoppCriteria
于 2023-09-19 07:15:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43178406/article/details/132281405
版权

  大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。

  本文主要介绍了transformers设置StoppingCriteria的实战代码，希望能对学习transformers的同学们有所帮助。

文章目录

1. 问题描述

  今天在进行文本生成时，总会生成一些不必要的内容，如果能够在生成不必要内容前及时停下来不仅能够得到更好的答案，而且节省了预测的时间。

  在经过了亲身的实践后，终于找到了可复现的实战代码，最终将详细的代码总结如下。希望对学习transformers的同学们有所帮助。
在这里插入图片描述
在这里插入图片描述

2. 解决方案

  为了方便大家理解，提问以who are you?为例，模型回复为
I am a 20 year old girl who is currently studying at the University，如下图所示：

了解本专栏 订阅专栏 解锁全文
爱编程的喵喵
关注
  • 28
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 29
    评论
专栏目录
订阅专栏
[AI]如何让语言模型LLMs流式输出：HuggingFace Transformers实现
weixin_44491772的博客
06-14 1万+
HugginFace Transforms是一个非常方便的库，集成了非常多SOTA的模型，包含：LLAMA, GPT, ChatGLM Moss，等。目前基本上主流的方案都是基于HugginFace Transforms这个框架实现的。以前如果要流式输出需要自己去改模型底层的推理逻辑。
Transformers学习-代码环境配置
08-19
在进行Transformers学习之前，首要任务是正确地配置代码环境，确保所有必要的工具和库都能正常运行。本教程将指导你完成Windows 11系统下的环境配置步骤。 首先，我们需要下载代码文件。Transformers库通常与相关的...
以Llama-2为例，在生成模型中使用自定义StoppingCriteria
weixin_44826203的博客
08-03 5564
在之前的文章中，介绍了使用transformers模块创建的模型，其generate方法的详细原理和使用方法，其中提到了用户参与生成过程的两个关键组件，logits_processor和stopping_criteria。本文将结合实际应用场景，介绍用户如何根据自己的需求来设计并实现一个自定义的`stopping_criteria`，来控制生成过程提前结束。
Llama2 使用StoppingCriteria且num_return_sequences＞1时返回的sequences不全符合停止条件
qq_42300527的博客
04-08 105
我在使用hf的Llama2+StoppingCriteria的时候，返回多个句子，但我发现只有第一个句子满足停止条件，
GLM-4 (1) - 推理+概览
daihaoguang的博客
07-13 795
GLM-4出来有一段时间了，下图是官方提供的一组模型。这边以选择了，希望通过跑demo和debug源码的形式，对GLM-4进行较为全面的理解。本篇主要内容包括：跑通demo、理解模型相关文件（尤其是配置文件），以及涉及到库中的一些组件的用法。模型架构部分会在后续分成旋转位置编码RoPEGLMBlock、自注意力等部分来讲述。本篇主要内容包括：跑通demo、理解模型相关文件（尤其是配置文件），以及涉及到库中的一些组件的用法，希望通过本篇能对GLM-4能有一个整体的认知。
matlab details,matlab运行后出现 function tolerance.<stopping criteria details>是什么原因
weixin_33397740的博客
03-16 413
function F = myfun(x)global P;y=P;F = [x(8)^2 - y*2*(4.58794*10^(-19))*(0.1057-x(5))/(x(4)*x(2)/2-x(5))-0.1276*10^(-9);x(8)^2 - y*2*(1.49751*10^(-18))*(0.106-x(6))/(x(4)*(1-x(2))/2-x(6))-0.1276*10^(-9...
鹅厂专家讲透AI文本生成解码策略与代码实现
QcloudCommunity的博客
06-01 1404
在 T5/GPT 等自回归模型中，解码策略直接影响到模型输出的效果。在解码第 t 个 token w 时，模型依赖前面的 t-1 个 token，计算概率分布 P(w∣w1:t−1 )。根据该概率分布，研究者们设计了各式各样的解码策略，每一种解码策略都对应了一个或多个相关的参数，多种参数糅合在一起，容易让人摸不着头脑。在对应官网提供的 API 中，我们可以看到也提供了一些用于调整解码策略的参数，如 temperature、top_p 等。
gplearn中SymbolicRegressor的参数介绍
阳光一直都在的博客
07-15 8826
population_size : 整数，可选(默认值=1000)种群规模(每一代个体数目即初始树的个数)。 generations : 整数，可选(默认值=20)要进化的代数。 tournament_size : 整数，可选(默认值=20)进化到下一代的个体数目(从每一代的所有公式中，tournament_size个公式会被随机选中，其中适应度最高的公式将被认定为生存竞争的胜利者，进入下一代。t...
transformers库源码解析/src/transformers/tools/agents.py（二）from_pretrained()方法
人工智能曾小健
07-06 1437
这是LocalAgent类的构造函数，接受五个参数。model和tokenizer是用于生成文本的模型和分词器。chat_prompt_template、run_prompt_template和additional_tools这三个参数是可选的，分别代表聊天提示模板、运行提示模板和附加工具。和这两行将输入的model和tokenizer保存为LocalAgent对象的属性。
实战Transformers模型微调
最新发布
07-22
### 实战Transformers模型微调 #### 数据集处理库 Hugging Face Datasets **Hugging Face Datasets 库简介** Hugging Face Datasets 库是一个非常实用的工具，它为开发者提供了轻松访问和共享音频、计算机视觉...
Transformers:代码测试
03-16
对工作进行代码测试。 游戏玩法： 战斗的基本规则是： 为了确定胜利者，应该按等级对球队进行排序，并面对面地对决对方，从而确定输家 对手之间的战斗使用以下规则： 如果任何战士比对手少4点或更多点勇气和3点...
Android代码-android-viewpager-transformers
08-08
android-viewpager-transformers A collection of view pager transformers. This repos is fork from daimajia but i uploaded it to maven central and added some more javadoc. Download dependencies { ...
transformers
05-11
Transformers 为数以千计的预训练模型奠定了基础（包括我们熟知的Bert、GPT、GPT-2、XLM等），支持100多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨就是让最先进的 NLP 技术人人易用。...
llama大模型提前停止策略，实现工具调用——以Llama3为例
huijigo的博客
05-21 803
在大模型的generate过程中为了实现工具调用功能，模型输出到了指定的token需要执行工具的时候，需要模型的generate停止。上面的代码中，使用StoppingCriteriaList方法包裹了我们实例化的自定义的StoppingCriteria的子类，并用列表包裹起来。其中有一个参数：stopping_criteria，用于判断模型输出是否应该停止，下面介绍具体方案。上面的代码中，构造函数一般用来确定我们要停止的tokens。缺点：感觉这样的方案使得模型的推理失去了并行性。
主动学习之Alipy包使用 (一)：高级封装
因吉的博客
09-12 6072
Alipy包使用详解引入0.1 主动学习简介0.2 引入 0.1 主动学习简介   在诸多实际问题中，未标记数据大量而已标记数据稀缺。由于人类专家的参与，标签的获取通常昂贵。因此，通过少量的标签实例来训练准确的预测模型至关重要。 　　主动学习的目的即是： 　　通过只查询最有价值的实例来减少人类专家在机器学习系统中注释实例的比例，并已成功地应用到各种实际任务中。 　　原文获取~~ 0.2 ...
【DETR】1、DETR | 首个使用 Transformers 的目标检测器
呆呆的猫的博客
10-25 2730
本文主要介绍 DETR
transformers.generator_utils函数源码解析之sample生成(包括temperature、TopK、TopP函数解析)
yangyanbao8389的博客
11-22 4807
sample函数相较于beam_search函数要简单的多，但是需要注意的一点是，sample需要搭配logits_warper处理器列表使用，相应的处理器函数在下面。sample函数的源码解释如下，比较浅显易懂。 # auto-regressive generation while True: # prepare model inputs model_inputs = self.prepare_inputs_for_generation(input_ids, **mod...
transformers.generator_utils函数源码解析之beam_search
yangyanbao8389的博客
11-18 1821
#beam_search主体函数 while True: model_inputs = self.prepare_inputs_for_generation(input_ids, **model_kwargs) #整理下一步decoder所需数据 outputs = self( **model_inputs, return_dict=True, output_attentions=output_attentions, o.
大语言模型-alpaca-lora
yuetan的博客
04-21 1377
微调本地知识库本文读的代码为。
runtimeerror: cuda error: devi
07-28
ce-side assert triggered是由于代码中出现了索引越界导致的错误。这个错误是CUDA报错，具体原因可能是代码中的某个索引超出了合法范围。然而，根据引用\[2\]所述，报错位置的代码并不一定是错误的根本位置，因此需要进一步分析。根据引用\[3\]的问题分析，可能是由于维度范围溢出导致的CUDA错误。为了解决这个问题，可以检查代码中的索引操作，确保索引值在合法范围内。此外，还可以尝试使用调试工具来定位错误的具体位置，并查看相关的报错信息以获取更多的线索。 #### 引用[.reference_title] - *1* *2* [RuntimeError: CUDA error: device-side assert triggered Pytorch框架代码运行错误解决方案(亲测有效！...](https://blog.csdn.net/weixin_42112050/article/details/120455407)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [「Bug」问题分析 RuntimeError: CUDA error: device-side assert triggered](https://blog.csdn.net/ViatorSun/article/details/125207465)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 29
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱编程的喵喵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值