![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
主要分享自然与处理相关内容,包含Transformer、Bert、Nviidia等实际应用于最新理论。
JensLee
这个作者很懒,什么都没留下…
展开
-
tokenizer 分词器
分词器的作用是将文本转换成模型能够理解的格式,即一系列的token IDs。是BERT模型的一个版本,其中“base”表示这是一个基础大小的模型(相对于“large”版本),而“uncased”表示这个模型在预训练时使用的是未区分大小写的文本。这行代码是在使用Transformers库(一个由Hugging Face提供的库,用于处理自然语言任务)来加载一个预训练的BERT模型的分词器(Tokenizer)。这行代码的作用是加载一个预训练的、未区分大小写的BERT基础模型分词器,并将其赋值给变量。原创 2024-08-21 17:03:52 · 197 阅读 · 0 评论 -
Can‘t load tokenizer for ‘bert-base-uncased‘
之后把解压缩的文件放到bert-base-uncased文件夹里面,重新运行就可以了。之后在项目工程新建一个文件夹,命名为bert-base-uncased。原创 2024-08-19 23:07:31 · 289 阅读 · 0 评论