transformers微调模型后使用pieline调用无法预测列表文本

最新推荐文章于 2024-07-17 21:04:45 发布
最新推荐文章于 2024-07-17 21:04:45 发布
阅读量477 收藏 8
点赞数 4
分类专栏： Bug记录 文章标签： python transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JStana/article/details/137207268
版权
本文描述了作者在使用transformers框架的trainer训练文本分类模型时，经过三个epoch后尝试通过pipeline调用model和tokenizer处理列表文本，发现输出结果异常。问题可能涉及模型集成、数据格式或pipeline配置。
摘要由CSDN通过智能技术生成

初学transformers框架
使用trainer简单训练一个文本分类模型三个epoch后
使用piepline调用model 和tokenizer后
发现 传入列表文本后 输出就变得不正常了，为么子哇
如下图
在这里插入图片描述

buer103
关注
  • 4
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于中文 GPT2 预训练模型的文本分类微调.zip
01-07
在本项目中，你将利用基于中文GPT2的预训练模型进行文本分类任务的微调。这是一个在自然语言处理（NLP）领域常见的应用场景，它涉及到深度学习、自然语言理解和机器学习等技术。让我们详细了解一下相关的知识点。 1...
sentence-transformers/allenai-specter 模型
06-28
可用于语义聚合任务中的文本编码器，它将句子和段落映射到 768 维密集向量空间，是 sentence_transformers 库的模型之一，官网下载速度缓慢，容易被墙，下载解压后，可以参考此文章进行模型本地加载 ...
基于微调的法律ChatGLM模型.zip
06-05
文件“基于微调的法律ChatGLM模型”中可能包含了模型的权重文件、训练脚本、推理代码以及使用示例。用户可以通过加载模型权重，直接与模型进行交互，实现法律咨询功能。同时，这个模型还可以作为研究和教学的实例，...
transformers库中关于CLIP模型的使用说明
06-19
transformers库中关于CLIP模型的使用说明
基于python的GPT2中文文本生成模型项目实现
03-26
4. **文本生成**：微调完成后，我们可以保存模型权重，然后编写一个生成文本的接口。这个接口将接收一个起始文本作为输入，模型会基于这个输入生成连续的文本。 5. **评估与优化**：评估生成的文本质量和流畅度，...
cv2读取和保存图片
m0_53291740的博客
07-12 266
cv2.imwrite('b\\img1.png',img)#b存在就可以保存进去。如果b存在，c不存在，程序不会报错，也不会保存图片。如果目录b不存在就会存到当前文件夹。
《JavaSE》---6.＜基础语法（Java三大程序控制结构）＞
m0_73456341的博客
07-14 780
本篇博客主要讲解Java基础语法中的三大结构，一种顺序结构、两大分支结构i（if-else、swich-case）、四大循环结构（while、do while、fot、foreach）
华为od机试真题 — 代表团坐车(Python)
学习,你不是一个人在战斗 ～ 961302305（QQ,微信）
07-17 526
【华为od机试真题 】代表团坐车(Python) 某组织举行会议，来了多个代表团同时到达，接待处只有一辆汽车可以同时接待多个代表团，为了提高车辆利用率，请帮接待员计算可以坐满车的接待方案输出方案数量。
Python每日一题：回文数
xiongxiaoxuan的博客
07-16 233
回文数是指正序（从左向右）和倒序（从右向左）读都是一样的整数。例如，121 是回文，而 123 不是。给你一个整数 x ，如果 x 是一个回文整数，返回 true；否则，返回 false。解释：从左向右读, 为 -121。从右向左读, 为 121-。因此它不是一个回文数。先将整数x转化为字符串形式，判断x和它的反转形态是否完全相等。解释：从右向左读, 为 01。需注意：True和False首字母大写！提示：-231
IPython 日志秘籍：%logstate 命令全解析
2401_85812026的博客
07-17 489
logstate命令是 IPython 日志系统的重要组成部分，它帮助我们掌控日志记录的状态。通过本文的介绍，你应该对如何在 IPython 中使用%logstate查看日志状态有了更深入的理解。记住，合理利用日志系统，可以让你的数据探索过程更加透明和可追溯。本文详细介绍了 IPython 的%logstate命令，包括其基本概念、基本用法、输出解析以及实战示例。希望本文能够帮助读者更好地利用 IPython 的日志系统，优化数据探索和科学计算的工作流。记住，掌握%logstate。
N7翻译实战
最新发布
tjl521314_21的博客
07-17 223
本周完成项目实战用于训练一个简单的序列到序列（seq2seq）模型以实现英语到法语的翻译。数据预处理、模型构建、训练以及可视化损失的过程。本周学习了构建和训练一个简单的seq2seq模型用于英语到法语的翻译，对前面的知识做了一个综合的运用。
Gradio从入门到精通（1）---快速入门
疯狂飙车的蜗牛的博客
07-15 1354
Gradio 是一个开源 Python 包，允许您为机器学习模型、API 或任何任意 Python 函数快速构建演示或 Web 应用程序。然后，您可以使用 Gradio 的内置共享功能在几秒钟内共享指向演示或 Web 应用程序的链接。无需 JavaScript、CSS 或 Web 托管经验！Gradio最大的特点就是简单，便捷，短短几行代码就可以快速构建大模型web应用程序；当前很多人工智能模型的演示都是使用Gradio打造的；您会注意到，为了制作第一个演示，您创建了该类的实例。
sklearn基础教程：掌握机器学习入门的钥匙
AIGC绘图领域探索者，热衷于将创意与技术融合，致力于分享前沿AI绘图技巧与心得，让我们一起开启视觉艺术的新篇章。
07-13 966
是基于Python的一个开源机器学习库，它建立在NumPy、SciPy和matplotlib之上，提供了大量的算法和工具，用于数据挖掘和数据分析。无论是简单的线性回归，还是复杂的神经网络，sklearn都能提供直观易用的接口。作为Python中最为流行的机器学习库之一，以其简洁的API、丰富的算法和强大的功能赢得了广大用户的青睐。通过本文的介绍，相信你已经对sklearn有了初步的了解，并能够开始进行一些基础的机器学习任务。
文件在Linux下为binary格式在Windows下为utf-8格式
qq_38220334的博客
07-17 259
想着是不是之前遇到的问题，有可能是文件中含有特殊字符，然后用vim命令来编辑这个文件，发现，还真是含有一个特殊字符，然后将它删除掉，文件就变成utf-8格式的文件了。在Windows下和Mac下都是没有问题的，在华为云服务器上也是没问题的（操作系统不是centos），但是在自己搭建的Linux服务器（centos）上是有问题的。用shell或者Python脚本去将这个文件转为utf-8格式的，但是都失败了。
Python进阶 2024/7/10
weixin_73793099的博客
07-12 270
open（）打开函数name:打开的目标文件的字符串，可以包含文件所在的具体路径mode：访问模式，只读，只写，追加encoding：编码格式，推荐使用UTF-8r：只读w：用于写入a:用于追加，如果该文件已经存在，新的内容会被写到已有的内容之后；如果文件不存在，创建新文件进行写入。
AIGC专栏13——ComfyUI 插件编写细节解析-以EasyAnimateV3为例
Bubbliiiing的学习小课堂
07-13 3598
最近在给EasyAnimateV3写ComfyUI的工作流，以方便别人测试。学习了ComfyUI的基本操作，也看了一下别人是怎么写的，自己也折腾了一下。在人工智能艺术创作的领域里，Stable Diffusion 凭借其开放源代码的特性，吸引了众多开发者与艺术家的目光，并且因为强大的社区支持而展现出强大的影响力。Stable Diffusion 的两大主流创作平台分别是 Stable Diffusion WebUI 与 ComfyUI。
ios CCUIAlertActivityView.m
编程语言技巧经验分享
07-17 401
// // CCUIAlertActivityView.m // CCFC // // #import "CCUIAlertActivityView.h" #import "CCNSNumber.h" #import "CCU
智能优化算法之模拟退火算法SA
Argulo的博客
07-13 351
模拟退火算法（Simulated Annealing, SA）是一种基于热力学原理的随机优化算法，最早由 S. Kirkpatrick, C. D. Gelatt 和 M. P. Vecchi 于 1983 年提出。在优化过程中，算法允许在一定概率下接受较差的解，以避免陷入局部最优解。在每次迭代中，从当前路径的邻域中随机选择一个新路径。计算新路径的长度，并根据接受准则决定是否接受新路径。：绘制城市坐标图和优化过程中最佳路径长度的变化曲线。：调用模拟退火算法，并输出最佳路径和最佳路径长度。
多线程编程中的条件变量及其优化
weixin_41489908的博客
07-13 204
本套课在线学习视频（网盘地址，保存到网盘即可免费观看）：链接：https://pan.quark.cn/s/7220b198cf00在多线程编程中，条件变量是一种用于线程间通信和同步的机制。通过使用条件变量，可以有效地协调线程间的关系，优化资源利用，并减少线程在CPU资源上的不必要占用。本文将通过Python示例代码，详细介绍如何在多线程环境中使用条件变量。
使用BERT预训练模型+微调进行文本分类
05-31
好的，这是一个很有趣的问题！BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的预训练模型，它在自然语言处理领域得到了广泛的应用。对于文本分类任务，我们可以使用BERT预训练模型来提取文本的特征表示，并将这些表示作为输入，通过全连接层进行分类。具体的步骤如下： 1. 下载预训练的BERT模型，在此模型上进行微调。可以选择使用已经训练好的模型，也可以对自己的数据进行微调。 2. 对于每一个输入文本，需要进行一些预处理步骤。首先，将文本转化为标记化的文本，即将每个单词或子单词转化为一个唯一的标记。然后，将每个标记转化为对应的标记ID，并添加一些特殊的标记，如[CLS]和[SEP]。 3. 将标记化的文本输入到BERT模型中，获取每个标记的特征表示。对于分类任务，通常使用最后一个隐藏层的输出，即[CLS]标记所对应的特征表示。 4. 将特征表示输入到一个全连接层中，进行分类。可以使用softmax函数将输出转化为类别概率。 5. 使用交叉熵损失函数进行训练，并根据验证集的表现进行调参。 6. 在测试阶段，输入文本到模型中，获取输出概率，选择概率最大的类别作为预测结果。 以上就是使用BERT预训练模型+微调进行文本分类的基本步骤。需要注意的是，由于BERT模型的复杂性，需要较大的计算资源和时间。同时，在微调阶段需要对超参数进行调参，以达到最优的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值