本文详细介绍了如何在龙芯LoongArch64服务器上解决Tokenizers库安装问题。首先，概述了Hugging Face的Tokenizers库在自然语言处理中的作用，以及在龙芯服务器上安装时遇到的模块未找到错误。接着，提供了通过安装Rustup和maturin来解决编译错误的步骤。最后，验证了正确安装Tokenizers的方法，确保没有出现导入错误。
1、简介
Hugging Face 的 Tokenizers 库提供了一种快速和高效的方式来处理（即分词）自然语言文本，用于后续的机器学习模型训练和推理。这个库提供了各种各样的预训练分词器，如 BPE、Byte-Pair Encoding (Byte-Level BPE)、WordPiece 等，这些都是现代 NLP 模型（如 BERT、GPT-2、RoBERTa 等）广泛使用的分词方法。
龙芯的Python仓库安装的tokenizers运行时候会报如下错误No module named 'tokenizers.tokenizers'：
本篇文章主要讲解下载龙芯loongarch64服务器上如何正确编译安装tokenizers。
2、安装
pip3 install tokenizers
直接拉取安装的时候会报如下错误：
这是在编译子模块maturin的时候报的错，可以查询以下两篇文章：
订阅专栏 解锁全文
816
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
