transformers微调模型后使用pieline调用无法预测列表文本

最新推荐文章于 2024-10-03 09:02:12 发布
最新推荐文章于 2024-10-03 09:02:12 发布
阅读量501 收藏 8
点赞数 4
分类专栏： Bug记录 文章标签： python transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JStana/article/details/137207268
版权
本文描述了作者在使用transformers框架的trainer训练文本分类模型时，经过三个epoch后尝试通过pipeline调用model和tokenizer处理列表文本，发现输出结果异常。问题可能涉及模型集成、数据格式或pipeline配置。
摘要由CSDN通过智能技术生成

初学transformers框架
使用trainer简单训练一个文本分类模型三个epoch后
使用piepline调用model 和tokenizer后
发现 传入列表文本后 输出就变得不正常了，为么子哇
如下图
在这里插入图片描述

buer103
关注
专栏目录
Bert基础(十五)-- Bert中文文本分类任务（colab）
Andy_shenzl的博客
02-07 1179
train_data 是一个包含输入数据的字典，其中 “input_ids” 是模型输入的token ID，“attention_mask” 是用于标识输入序列中哪些位置是有效的前景tokens，“labels” 是序列分类任务的标签。我们可以自己打印下我们前面定义好的训练数据，如下TensorDataset 将数据转换为一个PyTorch张量数据集，其中每个样本是一个包含input_ids、attention_mask和label的元组。
大模型LoRA微调调参的实战技巧(持续更新)
热门推荐
herosunly的博客
05-01 9万+
本文主要介绍了大模型LoRA微调调参的实战技巧，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 实战技巧
NLP-transformer学习：（2）transformer的 pipeline
mikhailbran的博客
06-30 758
本文主要讲述了 如何使用transformer 里的很多任务（pipeline），我们用这些任务可做文本识别，文本翻译和视觉目标检测等等，并且写了实战用力和测试结果
实战Transformers模型微调
07-22
### 实战Transformers模型微调 #### 数据集处理库 Hugging Face Datasets ...通过以上步骤，我们可以深入理解并实践如何使用 Hugging Face 的工具来进行 Transformers 模型的微调，从而提高模型在特定任务上的表现。
基于中文 GPT2 预训练模型的文本分类微调.zip
01-07
在本项目中，你将利用基于中文GPT2的预训练模型进行文本分类任务的微调。这是一个在自然语言处理（NLP）领域常见的应用场景，它涉及到深度学习、自然语言理解和机器学习等技术。让我们详细了解一下相关的知识点。 1...
（笔记）第三期书生·浦语大模型实战营（十一卷王场）--书生入门岛通关第2关Python 基础知识
haidizym的博客
10-02 461
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1mS421X7h4/课程文档：https://github.com/InternLM/Tutorial/tree/camp3/docs/L0/Python。
遥感影像-实例分割数据集：iSAID 从切图到YOLO格式数据集制作详细介绍
GIS潮流
09-30 1142
开源数据集isaid标注包含实例分割，但是原始影像太大，很吃显存，一般显卡无法用原始影像直接训练，所以需要对影像进行裁剪，并生成对应的标签，因为想用yolo系列跑模型，所以将标签需要转为txt格式。
酷炫音乐盒: 使用Python和Tkinter配合Pygame打造自己的音乐播放器
宇宙第一小趴菜的博客
09-29 1221
Tkinter是一个功能强大且简单易用的库，适合构建轻量级的GUI应用程序。它在不同的操作系统上具有相同的外观和行为，因此可以实现跨平台的应用程序。当然，Tkinter还有更多的功能和细节，通过阅读官方文档和教程，你可以更深入地了解和学习如何运用Tkinter来创建各种GUI应用程序。
Python | Leetcode Python题解之第448题找到所有数组中消失的数字
Mopes__的博客
10-01 399
Python | Leetcode Python题解之第448题找到所有数组中消失的数字
Python编写的贪吃蛇小游戏
最新发布
WwLK123的博客
10-03 365
Python编写贪吃蛇小游戏。
合并两个有序数组
Sudo_Wang的学习记录
09-30 427
我们可以使用双指针法从后向前遍历，避免将已经排序的数组打乱。这个方法的核心思路是从。的末尾开始填充较大的元素，因为末尾是用零填充的空闲区域，这样我们可以避免覆盖。这个方法能够高效地解决问题，并且符合进阶要求的 O(m + n) 复杂度。
训练常用API函数及方法
weixin_51277037的博客
09-28 232
self.folder_path = folder_path # 图像文件夹路径self.transform = transform # 可选的转换self.image_files = os.listdir(folder_path) # 获取文件夹中所有文件return len(self.image_files) # 返回图像数量img_name = os.path.join(self.folder_path, self.image_files[idx]) # 构建图像路径。
yjs10——pandas的基础操作
元气少女硕硕子的博客
09-30 380
data = pd.机器学习datasalary")注意：1.是pd.read_cvs，不要顺手写成np.read_cvs2.路径的斜杠方向是/，不是\，如果直接从电脑粘贴路径，路径写法是\，要自己换成/
AI驱动TDSQL-C Serverless数据库技术实战营--- 操作与电商可视分析
chasemydreamidea的博客
09-27 782
本文将基于腾讯云的高性能应用服务HAI和TDSQL-C MYSQL Serverless版构建AI电商数据分析系统。HAI作为一个面向AI和科学计算的GPU应用服务产品，它具有强大的计算能力，让复杂的AI模型的快速部署和运行的可行性加大，进而支持自然语言处理和图形生成等高级任务。TDSQL-C MYSQL版是一款云原生关系型数据库，其100%的MySQL兼容性，以及极致的弹性、高性能和高可用性，是电商业务中处理海量数据存储和查询的理想选择。本文实践除了使用TDSQL-C MYSQL外，通过python语言和
opencv-如何获取图像区域特定像素区域大小
qq_44157835的博客
09-28 593
通过鼠标框选某个区域，返回这个区域的像素大小。
如何用Python监控本股市的方法
全世界的博客
09-30 1258
量化交易，顾名思义，是通过数学模型和计算机算法来进行交易决策的一种交易方式。它不仅仅是简单的自动化交易，而是基于大量的历史数据和统计分析，通过算法来识别市场中的交易机会，并自动执行交易策略。量化交易的核心在于“量化”，即通过数据和模型来量化市场行为和交易机会。布林线（Bollinger Bands）是一种广泛使用的技术分析工具，由约翰·布林格（John Bollinger）在1980年代初开发。布林线策略的核心思想是通过计算股票价格的标准差来确定价格波动的上下限，从而判断股票的买入和卖出时机。
Python使用pandas读取Excel文件
xs_2012的专栏
09-29 471
上篇说到要求实现读取excel数据填写到表单中，selenium库学了点皮毛，接下来学学怎么操作Excel。网上一搜，操作Excel的库有很多，作为一个python新人咱也不了解哪个好用，这里就用pandas吧。例如：以上就是Python使用pandas读取Excel的简单应用，更多使用方法后面继续探索。
transformers 安装后，jupyter无法调用
09-13
如果你在安装了transformers库后，在Jupyter中无法调用它，可能是因为以下几个原因： 1. 安装问题：可能transformers库没有正确安装，或者版本不兼容。可以尝试重新安装该库，确保使用了正确的安装命令，例如使用`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值