Tokenizer文件缺失报错TypeError:__init_() missing 2 required positional arguments: ‘vocab_file‘ and ‘merge_

于 2024-05-22 03:35:50 发布
阅读量344 收藏
点赞数 1
文章标签： java 服务器 前端 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85200798/article/details/139106149
版权

1 系统环境

硬件环境(Ascend/GPU/CPU): Ascend

MindSpore版本: 2.1

执行模式（PyNative/ Graph）: 不限

2 报错信息

2.1 问题描述

加载WizardCoderTokenizer.from_pretrained(…)时出现报错，发现缺少两个文件vocab_file和merge_file。

Traceback (most recent call last):   File /home/wizardcoder/1_wizardcoder-mindformers/mindformers/tools/register/register.py" , line 217, in get_instance return obi cls(**kwaras)
TypeError:__init_() missing 2 required positional arguments: 'vocab_file' and 'merge_file'复制

3 根因分析

在tokenizer_config.json文件新增两列，指定这两个文件路径

4 解决方案

需在tokenizer_config.json文件中增加vocab_file和merge_file对应的文件路径。

"bos_token": "<lendoftext|>",
"clean_up_tokenization_spaces": true,
"eos token": "＜lendoftext|>",
"model_max_length": 2048,
"padding_side": "right",
"tokenizer_class": "WizardCoderTokenizer",
"unk_token": "<lendoftext|>",
"vocab size": 49152,
"vocab_file": "/xxxxxx/wizardcoder/vocab.json",
"merge_file":  '/xxxxxx/wizardcoder/merges.txt
2401_85200798
关注
TypeError: add_code_sample_docstrings() got an unexpected keyword argument ‘tokenizer_class‘解决方案
weixin_43178406的博客
09-15 3万+
本文主要介绍了TypeError: add_code_sample_docstrings() got an unexpected keyword argument 'tokenizer_class’解决方案，希望能对使用transformers的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
TypeError: __init__() got an unexpected keyword argument &#34serialized_options &#34
jacke121的专栏
05-29 7194
TypeError: __init__() got an unexpected keyword argument 'serialized_options' TypeError: __init__() got an unexpected keyword argument 'serialized_options' 这是由于包版本和python版本不匹配导致的 导入哪个包报这个错，就升级那个包，运行语句如下： pip install -U 包名 例如：pip install -U onnx 原文链.
TypeError: __init__() missing 2 required positional arguments
菜鸟学识的博客
09-16 6万+
TypeError: __init__() missing 2 required positional arguments 原因：调用的类有初始化值，调用的时候没有传值导致的 解决：调用的类后加上传值 如
Missing 1 required positional argument 解决方法
热门推荐
cerise__的博客
07-24 15万+
用scrapy写爬虫异步存mysql数据库的时候遇到了这个问题，找了一天也没找到解决方法，后来发现是没有加修饰符。 刚开始在借鉴别人方法的时候没有敲@classmethod这个修饰符，一直从外部找解决方法，重新装python还有库都没有用，最后加上修饰符就跑通了。百度到了这个修饰符的作用： 1、@classmethod声明一个类方法，而对于平常我们见到的则叫做实例方法。 2...
typeerror: __init__() missing 2 required positional arguments: 'inputs' and 'outputs'
dfql83704的博客
09-02 7794
1 问题描述 使用下边这条命令去检查 TensorFlow Object Detection API是否正确安装： python object_detection\builders\model_builder_test.py 报如下错误： typeerror: __init__() missing 2 required positional arguments: 'inputs' and...
TypeError系列之：TypeError: __init__() missing 2 required positional arguments
qq_41368074的博客
04-24 1万+
Python中TypeError: __init__() missing 2 required positional arguments， 这往往说明调用某函数时缺少必须的参数赋值！
vue - marked 解析插件报错：marked__WEBPACK_IMPORTED_MODULE_5___default(...) is not a function（完美解决marked报错）
高级前端工程师
12-18 4561
vue，marked，marked插件报错，markdown解析插件，vue项目，vue网页网站报错，浏览器控制台报错，import marked from 'marked'引入报错，如何解决marked插件报错，vue使用marked解析markdown文件文档内容时报错，TypeError: marked__WEBPACK_IMPORTED_MODULE_5___default(...) is not a function，vue怎么解决marked引入报错，vue3报错解决办法，详细解决方案，Vue
TypeError: combine_sentences() missing 1 required positional argument: 'tokenizer'
最新发布
03-19
TypeError: combine_sentences() missing 1 required positional argument: 'tokenizer' 是一个类型错误，它表示在调用 combine_sentences() 函数时缺少了一个必需的位置参数 'tokenizer'。这意味着在函数定义中，...
TypeError: __init__() got an unexpected keyword argument 'generator'
11-29
TypeError: __init__() got an unexpected keyword argument 'generator' 是因为在调用某个函数或类的初始化方法时，传入了该方法不支持的参数。解决方法是检查代码中是否有拼写错误或者参数传递错误的情况。 以下...
成功解决TypeError： TextEncodeInput must be Union[TextInputSequence， Tuple[InputSequence， InputSequence]]
qq_43588670的博客
11-13 3403
控制台报错：TypeError： TextEncodeInput must be Union[TextInputSequence， Tuple[InputSequence， InputSequence]]对超过最大长度的文本进行截断：如果你不希望增加tokenizer的最大长度，你可以使用参数来将文本截断为最大长度。这样，超过最大长度的部分将被截断掉。解决办法： 调整tokenizer的最大长度：你可以通过将参数设置为更大的值，以适应较长的文本。2.数据集中存在空行，检查数据集是否含有空行。
Python—类和对象（一）
键盘上的手艺人
01-26 5050
对象是模拟真实世界，把数据和程序进行封装 。 对象 = 属性+ 方法 我们需要用类来创造一个对象，就像我们要用图纸来造房子一样。在Python中函数名是以小写字母开头 ，类名是以大写字母开头。 面向对象（Object Oriented）我们一般称为OO，OO的特征有 1、封装 就像我们对列表的操作一样，很多方法已经封装好了，我们只需要调用自己需要的方法的名字就好了 &gt;&gt;&...
__init__() missing 2 required positional arguments 不易查明的继承错误
乐趣是人为构建的，构建是一种莫大的乐趣。
07-02 3294
init缺参数的报错
mmdetection初学问题（个人）
weixin_44733311的博客
03-28 633
1、（已解决）数据集json文件格式错误：缺少{ } ]等符号、缺少categories类。
解决missing 2 required positional arguments问题
weixin_44200328的博客
09-14 2万+
原因：调用的类有初始化值，调用的时候没有传值导致的 解决：调用的类后加上传值
Python-Django实践（博客）问题汇总一
u012991166的博客
09-26 878
本部分记录建立模型，以及模型迁移中遇到的问题 代码： from django.db import models from django.utils import timezone from django.contrib.auth.models import User # Create your models here. class BlogArticles(models.Model): ...
python错误：TypeError: __init__() missing 1 required positional argument: ‘n‘
m0_51788349的博客
07-11 4万+
出现这种错误，就是class中init函数中的参数没有赋值。 如：【下面的是错误的代码】 __meta__ = type class ff: def __init__(self, n): self.xxx = n self.yyy = 'asdf' self.zzz = [1,2,3] def asdf(self,x): self.ggg = x a = ff() #必须先写入初始化值，否则就会出现错误...
华为bug汇报：华为NPU竟成“遥遥领先”？
weixin_52292970的博客
10-22 2987
华为bug汇报：震惊，华为NPU竟成“遥遥领先”？
python缺少位置参数_Python TypeError:缺少2个必需的位置参数//如何修复？
weixin_39524048的博客
12-05 2488
我有这个TypeError: capture_and_decode() missing 2 required positional arguments: 'bitrange' and 'axes'我的代码是：def capture_and_decode(self, bitrange, axes):cam_width, cam_height = self.camera.resolutionscr_r...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值