[转] bert模型pytorch下载地址

本文档介绍了如何从Hugging Face库下载预训练的BERT模型及其对应的词汇表,包括不同大小写版本和多语言模型,如uncased、cased、multilingual等,并提供了模型和词汇文件的下载链接。

 

词向量文本下载:
PRETRAINED_VOCAB_ARCHIVE_MAP = {
‘bert-base-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-vocab.txt”,
‘bert-large-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased-vocab.txt”,
‘bert-base-cased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased-vocab.txt”,
‘bert-large-cased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-cased-vocab.txt”,
‘bert-base-multilingual-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-uncased-vocab.txt”,
‘bert-base-multilingual-cased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-cased-vocab.txt”,
‘bert-base-chinese’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-vocab.txt”,
模型下载:
‘bert-base-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased.tar.gz”,
‘bert-large-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased.tar.gz”,
‘bert-base-cased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased.tar.gz”,
‘bert-large-cased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-cased.tar.gz”,
‘bert-base-multilingual-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-uncased.tar.gz”,
‘bert-base-multilingual-cased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-cased.tar.gz”,
‘bert-base-chinese’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese.tar.gz”,

使用PyTorch实现BERT模型可按以下步骤进行: ### 1. 换TensorFlow检查点为PyTorch模型 若已有TensorFlow的BERT检查点,可将其换为PyTorch模型。示例命令如下: ```bash export BERT_BASE_DIR=/path/to/bert/uncased_L-12_H-768_A-12 python convert_tf_checkpoint_to_pytorch.py \ --tf_checkpoint_path $BERT_BASE_DIR/bert_model.ckpt \ --bert_config_file $BERT_BASE_DIR/bert_config.json \ --pytorch_dump_path $BERT_BASE_DIR/pytorch_model.bin ``` 此命令把TensorFlow的检查点文件换为PyTorch的二进制文件,以便在PyTorch环境中使用[^1]。 ### 2. 定义BERT模型参数 定义BERT模型的参数,示例代码如下: ```python # BERT Parameters maxlen = 30 # 每一个样本也就是每一个句子的最大长度为30,超过30要切除,少于30补PAD batch_size = 6 max_pred = 5 # max tokens of prediction 最多5个token被mask n_layers = 6 # encoder的层数 n_heads = 12 # multi-head的个数 d_model = 768 # word embedding 、positional embedding 、segment embedding都是768相同的维度 d_ff = 768*4 # 4*d_model, FeedForward dimension 在全连接神经网络中提升的维度 768*4 = 3072 d_k = d_v = 64 # dimension of K(=Q), V n_segments = 2 # 一个batch由2句话构成 ``` 这些参数对BERT模型的结构和性能有重要影响。其中,`maxlen`规定了句子的最大长度,`max_pred`限制了被mask的token数量,`n_layers`是编码器层数等[^2][^3]。 ### 3. 数据预处理 对输入数据进行预处理,确保数据格式符合模型要求。示例代码如下: ```python # 假设token_list是处理好的token列表 token_list = [ [12, 7, 22, 5, 39, 21, 15], [12, 15, 13, 35, 10, 27, 34, 14, 19, 5], [34, 19, 5, 17, 7, 22, 5, 8], [33, 13, 37, 32, 28, 11, 16], [30, 23, 27], [6, 5, 15], [36, 22, 5, 31, 8], [39, 21, 31, 18, 9, 20, 5], [39, 21, 31, 14, 29, 13, 4, 25, 10, 26, 38, 24] ] ``` 这里的`token_list`是一个二维列表,每一行代表一句话。后续可能还需要对其进行padding、masking等操作,以满足模型输入要求[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值