CLIPTokenizer.from_pretrained本地加载

Decoder-Wang

已于 2023-07-02 11:30:07 修改

阅读量4.3k

点赞数 8

文章标签：深度学习

于 2023-05-26 15:41:10 首次发布

本文链接：https://blog.csdn.net/qq_38334671/article/details/130888108

版权

以"openai/clip-vit-large-patch14"为例，原代码为：
self.tokenizer = CLIPTokenizer.from_pretrained(“openai/clip-vit-large-patch14”)
self.transformer = CLIPTextModel.from_pretrained(“openai/clip-vit-large-patch14”)
但因为我们linux一般连不到外网没办法直接下载，所以去https://huggingface.co/openai/clip-vit-large-patch14/tree/main这个网页把所有文件下载下来，传到.cache/huggingface/transformers下，然后把代码改为：

    self.tokenizer = CLIPTokenizer.from_pretrained("/home/.cache/huggingface/transformers")
    self.transformer = CLIPTextModel.from_pretrained("/home/.cache/huggingface/transformers")
    （改成自己的绝对路径）就可以了