安装transfomers成功了,但是tokenizers怎么也装不上
如图,安装了rust也同样报错
那策略就是自己分开安装tokenizer
可以直接pip,也可以去官网自己下载,注意与tranformers版本的对应
pip install tokenizers=0.10.1
安装transfomers成功了,但是tokenizers怎么也装不上
如图,安装了rust也同样报错
那策略就是自己分开安装tokenizer
可以直接pip,也可以去官网自己下载,注意与tranformers版本的对应
pip install tokenizers=0.10.1