报错ImportError: cannot import name ‘TikTokenConverter‘ from ‘transformers.convert_slow_tokenizer‘

最新推荐文章于 2024-06-05 16:13:42 发布
最新推荐文章于 2024-06-05 16:13:42 发布
阅读量316 收藏
点赞数 2
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_55736201/article/details/138861640
版权

报错：ImportError: cannot import name 'TikTokenConverter' from 'transformers.convert_slow_tokenizer' (/home/bingxing2/ailab/scxlab0069/.conda/envs/test_llm/lib/python3.9/site-packages/transformers/convert_slow_tokenizer.py)

解决办法：重新安装transformers

pip install git+https://github.com/huggingface/transformers

或者

git clone https://github.com/huggingface/transformers
pip install -e ./transformers

 

参考：Add llama3 by ArthurZucker · Pull Request #30334 · huggingface/transformers · GitHub

小趴菜日记
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
ImportError: cannot import name ‘is_torch_npu_available‘ from ‘transformers.utils‘解决方案
weixin_43178406的博客
01-25 4万+
本文主要介绍了ImportError: cannot import name ‘is_torch_npu_available’ from 'transformers.utils’解决方案，希望能对使用transformers的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
LLM-LLaMA：手动模型转换与合并【Step 1: 将原版LLaMA模型转换为HF(HuggingFace)格式；Step 2: 合并LoRA权重，生成全量模型权重】
u013250861的博客
06-25 2648
与原版llama模型离线转换为HF格式后的SHA256一致（已验证7B/13B/33B）。合并Chinese-Alpaca-Plus需要提供两个LoRA权重，分别为Chinese-LLaMA-Plus-LoRA和Chinese-Alpaca-Plus-LoRA。这一步骤会对原版LLaMA模型（HF格式）扩充中文词表，合并LoRA权重并生成全量模型权重。执行以下脚本（注意这个脚本路径指的是transformers的路径，不是本项目的目录）后，注意，不同模型的合并方式不同。指定的目录，其余文件放在。
Llama3模型参数转hf格式
icestorm_rain的博客
05-14 233
通过zip下载目前transformers库上的source code，进入仓库代码文件夹然后执行以下命令。脚本在transformers库中，可以通过web search找到。Meta AI官网下载下来的Llama3参数无法直接被。库提供的转Llama2的脚本好像也不能直接使用，报错。之后可用以下命令进行参数格式转换。
cannot import name ‘tokenizer_from_json‘解决方案
xiaofeixia002X的博客
12-30 502
cannot import name 'tokenizer_from_json'解决方案
ImportError：无法从“django.utils.encoding”导入名称“force text”Python 错误
07-03
ImportError：无法从“django.utils.encoding”导入名称“force text”[Python 错误已解决]
python3 报错cannot import name '_AES'
10-04
1.from Crypto.Cipher import AES 报错：cannot import name '_AES' 2.下载附件的，把附件的文件替换到python安装目录下的对应位置
python3 解决cannot import name '_AES'问题
06-20
1.from Crypto.Cipher import AES 报错：cannot import name '_AES' 2.下载附件的，把附件的文件替换到python安装目录下的对应位置
导入tensorflow时报错：cannot import name 'abs'的解决
09-18
主要介绍了导入tensorflow时报错：cannot import name 'abs'的解决，文中介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
jupyter notebook引用from pyecharts.charts import Bar运行报错
12-20
ImportError: cannot import name ‘Bar’ from ‘pyecharts.charts’ (D:\Anaconda\lib\site-packages\pyecharts\charts_init_.py) 首先报错如上。 第一步，我安装了库文件，发现没用。 后来我看到有0.5和1.0+版本...
如何mysql数据导入到mongdb
codemami的博客
05-30 1665
由于MySQL和MongoDB的数据模型不同（例如，MySQL使用关系模型，而MongoDB使用文档模型），你可能需要转换数据的格式。使用MongoDB驱动程序：你也可以使用MongoDB的官方驱动程序（如Python的pymongo）来编写脚本，将数据直接插入到MongoDB中。注意：如果你的JSON文件包含多个文档，并且它们不是作为数组的一部分（即每个文档都在其自己的行上），则需要使用--jsonArray选项。手动转换：对于小型数据集，你可以手动编辑SQL或CSV文件，将其转换为JSON格式。
专属编程笔记
u014397365的博客
06-01 1090
在软件开发中，Utils（或Utilities）目录通常用于存放一些。这些工具类或函数为整个应用程序或多个模块提供便利的功能支持，使得代码更加模块化、易于维护和重用。UtilsUtils目录的设计目的在于避免代码重复，并确保在整个项目中以一致的方式处理共通任务。这样做可以提高开发效率，降低维护成本，并确保代码的整洁性和可读性。
在linux服务器上使用tensorboard，错误记录
wwwwzm的博客
05-30 1315
1. 使用tensorboard命令时，不是从虚拟环境中找tensorboard，而是从（全局路径）中找（/home/ljx/.local/lib/python3.9/site-packages/tensorboard）是一个在 Unix-like 系统（包括 Linux 和 macOS）的命令行界面（如 Bash shell）中使用的命令。2.使用which命令， 查看使用的tensorboard的路径，发现使用的是全局路径，不是虚拟环境路径。是一个特殊的变量，它定义了操作系统搜索可执行文件的目录。
基于NANO 9K 开发板加载PICORV32软核，并建立交叉编译环境
pocean2012的博客
05-30 1305
ISP的实现逻辑是出厂“芯片”（我们这里是软核）自带了BootLoader程序，即出厂引导程序，通过BootLoader可以将程序从串口（上位机）下载到Flash中，实际的时序是通过RST来区分正常启动还是烧录状态，然后上位机的烧录脚本来控制串口时序， 用户程序实际上是通过串口最终下载到了FLASH中，然后程序从flash启动。NANO 9K低成本体验FPGA开发，还是挺香的，官方例子有加载PICORV32软核的例子，可以建立简单的ISP编程环境，通过串口就可以加载程序，很方便。
Python自动化脚本：文件分类
svygh123的专栏
06-01 524
要使用Python根据文件类型进行分类，可以遍历指定目录下的所有文件，检查每个文件的扩展名，然后根据扩展名将文件移动到对应的文件夹中。
爬虫面试手册
u010926168的博客
05-24 2183
爬虫岗位要求和常见面试题
【遗传算法】【机器学习】【Python】常见交叉方法（二）、多点交叉和均匀交叉
weixin_43031313的博客
06-05 245
本文简单介绍遗传算法的两种常见的交叉方法：多点交叉和均匀交叉，并使用Python实现简单的交叉算法。
python中return语句的用法
最新发布
Nove1205的博客
06-05 362
关于python中return语句的用法
用户友好型模块argparse
qq_42301955的博客
05-31 288
argparse模块
import tensorflow.keras报错ImportError: cannot import name '_CopyMode' from 'numpy._globals'
03-28
这个错误通常是因为 numpy 版本太低导致的。解决方法是升级 numpy 版本，可以使用以下命令： ```python pip install --upgrade numpy ``` 如果仍然无法解决问题，可以考虑升级 tensorflow.keras 版本。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值