- 博客(2)
- 收藏
- 关注
原创 huggingface上下载的BERT开源模型,vocab.txt中为什么不是“正常”的单词,而是诸如‘Ġalcohol‘
(如 Hugging Face 实现)会自动处理空格和子词拆分,无需手动解析。),是因为 BERT 使用的分词器(Tokenizer)基于。这样的特殊字符前缀(而不是直接的英文单词如。,且在预处理时对空格和标点进行了特殊编码。中出现像 Ġalcohol。
2025-04-02 20:53:12
499
原创 huggingface上本地使用gpt2模型,不能有效生成文本
此时感觉,人工智能好智障啊!想着,如果gpt2生成的是这种效果,感觉不配称为gpt!程序运行结果如下所示:(发现gpt2发挥出了正常水平!
2025-03-07 16:10:45
337
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅