BERT、RoBERTa下载地址map

最新推荐文章于 2024-03-27 18:12:42 发布
最新推荐文章于 2024-03-27 18:12:42 发布
阅读量3.9k 收藏 13
点赞数 4
分类专栏： 深度学习 文章标签： BERT
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43301333/article/details/111402311
版权

BERT

1.vocab

PRETRAINED_VOCAB_ARCHIVE_MAP = {
‘bert-base-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-vocab.txt”,
‘bert-large-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased-vocab.txt”,
‘bert-base-cased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased-vocab.txt”,
‘bert-large-cased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-cased-vocab.txt”,
‘bert-base-multilingual-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-uncased-vocab.txt”,
‘bert-base-multilingual-cased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-cased-vocab.txt”,
‘bert-base-chinese’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-vocab.txt”
}

2.model_bin

PRETRAINED_MODEL_ARCHIVE_MAP = {
‘bert-base-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased.tar.gz”,
‘bert-large-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased.tar.gz”,
‘bert-base-cased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased.tar.gz”,
‘bert-large-cased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-cased.tar.gz”,
‘bert-base-multilingual-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-uncased.tar.gz”,
‘bert-base-multilingual-cased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-cased.tar.gz”,
‘bert-base-chinese’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese.tar.gz”
}

RoBERTa

1.config

ROBERTA_PRETRAINED_CONFIG_ARCHIVE_MAP = {
"roberta-base": "https://s3.amazonaws.com/models.huggingface.co/bert/roberta-base-config.json",
"roberta-large": "https://s3.amazonaws.com/models.huggingface.co/bert/roberta-large-config.json",
"roberta-large-mnli": "https://s3.amazonaws.com/models.huggingface.co/bert/roberta-large-mnli-config.json",
"distilroberta-base": "https://s3.amazonaws.com/models.huggingface.co/bert/distilroberta-base-config.json",
"roberta-base-openai-detector": "https://s3.amazonaws.com/models.huggingface.co/bert/roberta-base-openai-detector-config.json",
"roberta-large-openai-detector": "https://s3.amazonaws.com/models.huggingface.co/bert/roberta-large-openai-detector-config.json",
}

2.vocab

PRETRAINED_VOCAB_FILES_MAP = {
"vocab_file": {
"roberta-base": "https://s3.amazonaws.com/models.huggingface.co/bert/roberta-base-vocab.json",
"roberta-large": "https://s3.amazonaws.com/models.huggingface.co/bert/roberta-large-vocab.json",
"roberta-large-mnli": "https://s3.amazonaws.com/models.huggingface.co/bert/roberta-large-mnli-vocab.json",
"distilroberta-base": "https://s3.amazonaws.com/models.huggingface.co/bert/distilroberta-base-vocab.json",
"roberta-base-openai-detector": "https://s3.amazonaws.com/models.huggingface.co/bert/roberta-base-vocab.json",
"roberta-large-openai-detector": "https://s3.amazonaws.com/models.huggingface.co/bert/roberta-large-vocab.json",
},
"merges_file": {
"roberta-base": "https://s3.amazonaws.com/models.huggingface.co/bert/roberta-base-merges.txt",
"roberta-large": "https://s3.amazonaws.com/models.huggingface.co/bert/roberta-large-merges.txt",
"roberta-large-mnli": "https://s3.amazonaws.com/models.huggingface.co/bert/roberta-large-mnli-merges.txt",
"distilroberta-base": "https://s3.amazonaws.com/models.huggingface.co/bert/distilroberta-base-merges.txt",
"roberta-base-openai-detector": "https://s3.amazonaws.com/models.huggingface.co/bert/roberta-base-merges.txt",
"roberta-large-openai-detector": "https://s3.amazonaws.com/models.huggingface.co/bert/roberta-large-merges.txt",
},
}

3.model_bin

ROBERTA_PRETRAINED_MODEL_ARCHIVE_MAP = {
"roberta-base": "https://cdn.huggingface.co/roberta-base-pytorch_model.bin",
"roberta-large": "https://cdn.huggingface.co/roberta-large-pytorch_model.bin",
"roberta-large-mnli": "https://cdn.huggingface.co/roberta-large-mnli-pytorch_model.bin",
"distilroberta-base": "https://cdn.huggingface.co/distilroberta-base-pytorch_model.bin",
"roberta-base-openai-detector": "https://cdn.huggingface.co/roberta-base-openai-detector-pytorch_model.bin",
"roberta-large-openai-detector": "https://cdn.huggingface.co/roberta-large-openai-detector-pytorch_model.bin",
}

其他

transformers 的所有模型下载地址：

huggingface-transformers-查看模型的下载地址

同时，BERT和RoBerta输入的max_len都是512.
BERT需要依据cased和uncased来决定是否将word lower case,RoBerta采用BPE算法tokenize,预训练的时候就没有区分大小写，即大小写与否不影响BPE tokenize,所以不需要lower case

参考：

https://www.kaggle.com/c/tweet-sentiment-extraction/discussion/150007
https://blog.csdn.net/weixin_44287209/article/details/108792846
https://zhuanlan.zhihu.com/p/147534390

Reza.
关注
  • 4
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
chinese-roberta-wwm-ext.rar
02-07
哈工大版本，for pytorch
Roberta
10-24
Roberta
中文roberta模型文件(tensorflow)
01-11
chinese_roberta_wwm_large_ext_L-24_H-1024_A-16的tensorflow版本，亲测可用。如果需要pytorch版本，请自行进行转换。
RoBERTa中文预训练模型.zip
07-01
RoBERTa中文预训练模型 概述 中文预训练RoBERTa模型 RoBERTa是BERT的改进版，通过改进训练任务和数据生成方式、训练更久、使用更大批次、使用更多数据等获得了State of The Art的效果；可以用Bert直接加载。 本项目是用TensorFlow实现了在大规模中文上RoBERTa的预训练，也会提供PyTorch的预训练模型和加载方式。 中文预训练RoBERTa模型-下载 6层RoBERTa体验版 RoBERTa-zh-Layer6: Google Drive 或 百度网盘，TensorFlow版本，Bert 直接加载, 大小为200M 推荐 RoBERTa-zh-Large 通过验证 RoBERTa-zh-Large: Google Drive 或 百度网盘 ，TensorFlow版本，Bert 直接加载 RoBERTa-zh-Large: Google Drive 或 百度网盘 ，PyTorch版本，Bert的PyTorch版直接加载 RoBERTa 24/12层版训练数据：30G原始文本，近3亿个句子，100亿个中文字(token)，产生了2.5亿个训练数据(instance)；覆盖新闻、社区问答、多个百科数据等； 本项目与中文预训练24层XLNet模型 XLNet_zh项目，使用相同的训练数据。 RoBERTa_zh_L12: Google Drive 或 百度网盘 TensorFlow版本，Bert 直接加载 RoBERTa_zh_L12: Google Drive 或百度网盘 PyTorch版本，Bert的PyTorch版直接加载 Roberta_l24_zh_base TensorFlow版本，Bert 直接加载 24层base版训练数据：10G文本，包含新闻、社区问答、多个百科数据等 什么是RoBERTa: 一种强大的用于预训练自然语言处理（NLP）系统的优化方法，改进了Transformers或BERT的双向编码器表示形式，这是Google在2018年发布的自监督方法。 RoBERTa在广泛使用的NLP基准通用语言理解评估（GLUE）上产生最先进的结果。 该模型在MNLI，QNLI，RTE，STS-B和RACE任务上提供了最先进的性能，并在GLUE基准上提供了可观的性能改进。 RoBERTa得分88.5，在GLUE排行榜上排名第一，与之前的XLNet-Large的表现相当。 效果测试与对比 Performance 互联网新闻情感分析：CCF-Sentiment-Analysis 模型 线上F1 BERT 80.3 Bert-wwm-ext 80.5 XLNet 79.6 Roberta-mid 80.5 Roberta-large (max_seq_length=512, split_num=1) 81.25 注：数据来源于guoday的开源项目；数据集和任务介绍见：CCF互联网新闻情感分析 自然语言推断：XNLI 模型 开发集 测试集 BERT 77.8 (77.4) 77.8 (77.5) ERNIE 79.7 (79.4) 78.6 (78.2) BERT-wwm 79.0 (78.4) 78.2 (78.0) BERT-wwm-ext 79.4 (78.6) 78.7 (78.3) XLNet 79.2 78.7 RoBERTa-zh-base 79.8 78.8 RoBERTa-zh-Large 80.2 (80.0) 79.9 (79.5) 注：RoBERTa_l24_zh，只跑了两次，Performance可能还会提升; BERT-wwm-ext来自于这里；XLNet来自于这里; RoBERTa-zh-base，指12层RoBERTa中文模型 问题匹配语任务：LCQMC(Sentence Pair Matching) 模型 开发集(Dev) 测试集(Test) BERT 89.4(88.4) 86.9(86.4) ERNIE 89.8 (89.6) 87.2 (87.0) BERT-wwm 89.4 (89.2) 87.0 (86.8) BERT-wwm-ext - - RoBERTa-zh-base 88.7 87.0 RoBERTa-zh-Large 89.9(89.6) 87.2(86.7) RoBERTa-zh-Large(20w_steps) 89.7 87.0 注：RoBERTa_l24_zh，只跑了两次，Performance可能还会提升。保持训练轮次和论文一致： 阅读理解测试 目前阅读理解类问题bert和roberta最优参数均为epoch2, batch=32, lr=3e-5, warmup=0.1 cmrc20
chinese-roberta-wwm-ext模型下载
weixin_51867095的博客
12-12 1142
分享huggingface模型chinese-roberta-wwm-ext的下载方式
Bert，Albert，Roberta，XLNet的中英文预训练模型下载网址及教程
Thanours的博客
11-19 8762
自然语言处理的各大热门的中英文预训练模型下载网址，包含了Bert，Albert， Roberta， XLNet等模型的base和large、tensorflow和pytorch版本的预训练模型。 https://huggingface.co/models 以下载tensorflow版本的bert的中文预训练模型为例 点击红框中的bert-base-chinese 接着点击上图红框中的选项，就会有下图的文件 这里我们下载的是tensorflow版本的，所以pytorch版本的文件可.
基于tensorflow的bert模型下载
04-11
标题 "基于TensorFlow的BERT模型下载" 涉及到的是使用TensorFlow框架来操作BERT模型，这是一种先进的自然语言处理（NLP）模型，由Google研发。BERT（Bidirectional Encoder Representations from Transformers）以其...
WordSeg:BiLSTM \ BERT \ Roberta（+ CRF）模型的PyTorch实现，用于中文分词
03-27
模型本项目实现了中文分词任务的baseline模型，对应路径分别为： BiLSTM-CRF BERT-Softmax BERT-CRF BERT-LSTM-CRF其中，根据使用的预训练模型的不同，BERT-base-X模型可转换为Roberta-X模型。要求此仓库已在Python ...
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks下载
03-21
奠基之作 《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》，论文原文PDF格式文档下载。BERT的构造使得它不适用于语义相似性搜索以及聚类等无监督任务。SBERT使用siamese和triplet network结构...
RoBERTa-japanese：日语BERT预训练模型
02-09
RoBERTaとは， ，BERTの改良版です。モデル构造そのものはオリジナルのBERTと同じで，学习手法に工夫があります。 のプロジェクトは，。 RoBERTa（改良BERT）日本语モデル 新 Tensorflow 1.x / 2.x両対応しました ...
基于python的中文预训练RoBERTa模型型
03-21
基于python的中文预训练RoBERTa模型
tag-based-multi-span-extraction:EMNLP 2020 正式实施，《A Simple and Effective Model for Answering Multi-span Questions》
05-29
一个简单有效的回答多跨度问题的模型 该存储库包含以下论文的官方实现： 埃拉德·西格尔、阿维亚·埃弗拉特、莫尔·肖汉姆、阿米尔·格洛伯森、乔纳森·贝randint。 。 在 EMNLP，2020 年。 引文 @inproceedings{Segal2020TASE, title={A Simple and Effective Model for Answering Multi-span Questions}, author={Segal, Elad and Efrat, Avia and Shoham, Mor and Globerson, Amir and Berant, Jonathan}, booktitle={EMNLP}, year={2020}, } 使用更好地了解 DROP、Quoref 和模型的预测。 用法 本节中列出的命令需要从存储库的根目录运行。 首
transformers本地加载roberta模型pytorch
sdaujz的博客
05-04 9499
本地加载roberta-base模型文件， 在该网站下载模型文件：roberta-base at main (huggingface.co) 所需的有 config.json, merges.txt, pytorch_model.bin, vocab.json 路径组织结构： └─model │ merges.txt │ vocab.json │ └─roberta-base config.json ...
[转]bert-base-uncased下载地址
随笔
10-27 1369
PRETRAINED_MODEL_ARCHIVE_MAP = { 'bert-base-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased.tar.gz", 'bert-large-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased.tar.gz",...
预训练模型汇总：下载地址&综述
程序的尽头是数学，一日不推导赶不上买买提
02-28 2500
常见类似bert,albert，roberta, bart等预训练模型下载地址汇总
Pytorch实现Bert/RoBerta微调（以MELD数据集为例）
csdndogo的博客
07-17 6177
本文记录我在学习BERT/ROBERTAfine-tuning过程的遇到的问题，包括内存受限，微调概念，微调方法等。文章方法不适用于逐层微调，且只以NLP文本分类举例，微调代码参考。
BERT-wwm、RoBERTa-wwm、SpanBERT、ERNIE2
weixin_43643246的博客
03-01 2414
BERT-wwm、RoBERTa、SpanBERT、ERNIE2 BERT-wwm/RoBERTa-wwm wwm是Whole Word Masking（对全词进行Mask）。简单来说，原有基于WordPiece的分词方式会把一个完整的词切分成若干个子词，在生成训练样本时，这些被分开的子词会随机被mask。 在全词Mask中，如果一个完整的词的部分WordPiece子词被mask，则同属该词的其他...
bert预训练模型下载链接合集
热门推荐
weixin_39331401的博客
11-29 1万+
做个整理，方便以后找不到的时候重新下载 Google原版bert:https://github.com/google-research/bert brightmart版roberta:https://github.com/brightmart/roberta_zh 哈工大版roberta:https://github.com/ymcui/Chinese-BERT-wwm Google原版albert[例子]:https://github.com/google-research/ALBERT ...
论文复现：QA-GNN: Reasoning with Language Models and Knowledge Graphsfor Question Answering
Matcha-cheese
03-27 2171
2.创建一个nltk_data文件夹，往下再创建一个corpora文件夹，最后把stopwords解压后的文件夹放在corpora文件夹下：D:\Python3.8\nltk_data\corpora（根据自己的报错路径对应去放）因为我的pip install不知道抽什么风了，不能直接网络下载torch-scatter torch-sparse torch-geometric 所以我本地下载，链接放下面了。1.去github下载模型，根据自己的spacy的版本下载对应的en版本。在终端中运行以下命令。
ROBERTa相比BERT的改进
最新发布
06-06
ROBERTa（Robustly Optimized BERT Pretraining Approach）是BERT（Bidirectional Encoder Representations from Transformers）的后续改进模型，由Facebook AI Research团队在2019年发布。相较于BERT，ROBERTa有以下几个关键改进： 1. **更大的训练数据集**：ROBERTa使用了比BERT更大的无标签文本数据进行预训练，包括整个英文维基百科和BookCorpus，增强了模型的泛化能力。 2. **动态掩码**：在BERT中，随机遮盖（masking）是一种静态过程。而在ROBERTa中，动态掩码被采用，即在每个训练步骤都会重新生成掩码，这使得模型对新输入的适应性更强。 3. **更长的序列长度**：ROBERTa能够处理更长的句子，这允许模型捕捉到更多的上下文信息。 4. **更大的批处理大小**：ROBERTa使用了更大的批处理尺寸进行训练，有助于模型收敛速度更快。 5. **去除Next Sentence Prediction任务**：BERT使用了下一个句子预测任务，但ROBERTa发现这个任务对实际性能提升不大，因此移除了这个任务，专注于掩码语言建模。 6. **双向掩码**：BERT只能看到前向和后向的上下文，而ROBERTa在双向掩码下同时看到前后的部分，进一步增强了模型的双向理解能力。 这些改进使得ROBERTa在许多自然语言处理任务上表现优于BERT，尤其是在一些零样本迁移学习任务中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值