运行huggingface Kosmos2报错 nameerror: name ‘kosmos2tokenizer‘ is not defined

尝试运行huggingface上的Kosmos,https://huggingface.co/ydshieh/kosmos-2-patch14-224失败,报错:

nameerror: name 'kosmos2tokenizer' is not defined

查看报错代码:

vi /root/.cache/huggingface/modules/transformers_modules/ydshieh/kosmos-2-patch14-224/48e3edebaeb02dc9fe105f40e85a43a3b440dc72/tokenization_kosmos2_fast.py

看到以下代码:

print('available: ', is_sentencepiece_available())
if is_sentencepiece_available():
    from .tokenization_kosmos2 import Kosmos2Tokenizer
else:
    Kosmos2TokenizerFast = None

说明由于is_sentencepiece_available()判断为False,导致没有导入Kosmos2Tokenizer,因此要安装该依赖。
深入可知,该依赖是sentencepiece,所以执行以下命令:

pip install sentencepiece

之后就可以执行demo了。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值