pytorch-pretrained-bert的模型下载慢

第一步，先安装模型框架

pip install pytorch-pretrained-bert

第二步，一般如果调用BertModel等模型的时候，需要下载相应的预先训练模型，下载后的文件存放在cache文件夹：~/.pytorch_pretrained_bert/，但是往往服务器的速度受限，会下载很慢，因此我们可以直接下载下来，再放到指定位置去

model = BertModel.from_pretrained('../temp/bert-base-uncased', cache_dir=temp_dir)

下面是模型的下载地址

    PRETRAINED_MODEL_ARCHIVE_MAP = {
        'bert-base-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased.tar.gz",
        'bert-large-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased.tar.gz",
       'bert-base-cased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased.tar.gz",
       'bert-base-multilingual': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual.tar.gz",
        'bert-base-chinese': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese.tar.gz",
    }

vocab的地址为

PRETRAINED_VOCAB_ARCHIVE_MAP = {
    'bert-base-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-vocab.txt",
    'bert-large-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased-vocab.txt",
    'bert-base-cased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased-vocab.txt",
    'bert-large-cased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-cased-vocab.txt",
    'bert-base-multilingual-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-uncased-vocab.txt",
    'bert-base-multilingual-cased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-cased-vocab.txt",
    'bert-base-chinese': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-vocab.txt",
}

最后需要的是一个文件夹下包含三个文件，如下所示

我这里文件夹名称是bert_pretrain,对应加载的代码如下(cache_dir随便写)：

model = BertModel.from_pretrained('./bert_pretrain', cache_dir='/home/cache')

参考文献：https://zhuanlan.zhihu.com/p/50773178