Bert，Albert，Roberta，XLNet的中英文预训练模型下载网址及教程

最新推荐文章于 2024-01-28 18:04:53 发布
最新推荐文章于 2024-01-28 18:04:53 发布
阅读量8.3k 收藏 29
点赞数 6
分类专栏： 自然语言处理 文章标签： 预训练模型下载 huggingface Bert预训练模型下载 Albert Roberta
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thanours/article/details/109819159
版权

自然语言处理的各大热门的中英文预训练模型下载网址，包含了Bert，Albert， Roberta， XLNet等模型的base和large、tensorflow和pytorch版本的预训练模型。

https://huggingface.co/models

以下载tensorflow版本的bert的中文预训练模型为例

点击红框中的bert-base-chinese

接着点击上图红框中的选项，就会有下图的文件

这里我们下载的是tensorflow版本的，所以pytorch版本的文件可以不用理会。

下载tensorflow版本的文件一共有这三个就行了：

想要下载pytorch版本的模型下载pytorch_model.bin这个文件就行了。

那怎么点击下载这些文件呢？

例如要下载vocab.txt文件，鼠标右键，点链接另存为， 然后就弹出另存文件目录页面了。（浏览器是chrome）

TanH.blog
关注
  • 6
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
官方bert中文预训练模型
08-17
Google官方中文Bert预训练模型，当前模型为bert base模型，省去爬梯下载的烦恼，需要其他模型的可以私信
关于各种中文Bert/xlnet模型
01-20
google的bert_base https://github.com/google-research/bert 哈工大的wwm和wwm-ext https://gitee.com/yiweilu/Chinese-BERT-wwm google的ALbert https://github.com/google-research/ALBERT 中文Roberta https://github.com/brightmart/roberta_zh 华为的哪吒 https://blog.csdn.net/zandaoguang/article/details/103419578（对哪吒的简单介绍，文本
bert预训练模型下载
最新发布
木下瞳的博客
01-28 994
可以看到我们最需要的模型是又提供的，models 里面是提供的模型，mode_download.py 是提供的下载模型的脚本，我用了这个脚本下载的，点开可以看到里面的代码，复制一份到本地 py。旁边有提供下载命令，在你想保存的路径下打开 cmd，运行这个命令就会下载了，下好后会生成以个 dataroot 的文件夹，里面有我们要的东西。我下载 bert-base-chinese，但这个网站下载是要钱的，也不贵，点击下面购买流量包。但即使是翻出去了也访问不了，我遇到的情况，所以找到了其他网站。
transformers 使用bert中文模型
junior_programmer的博客
05-23 9437
pytorch 下载 gpu版 pip install torch===1.5.0 torchvision===0.6.0 -f https://download.pytorch.org/whl/torch_stable.html cpu版 pip install torch==1.5.0+cpu torchvision==0.6.0+cpu -f https://download.pytorch.org/whl/torch_stable.html 中文bert-wwm 模型 下载 中文bert-w
基于python的中文预训练RoBERTa模型型
03-21
基于python的中文预训练RoBERTa模型
bert：TensorFlow代码和BERT的预训练模型
02-03
伯特 ***** 2020年3月11日新产品：更小的BERT模型***** 此版本发行了24个较小的BERT模型（仅限英语，无大小写，使用WordPiece掩码进行了培训），在读物精通的 。 我们已经证明，除了BERT-Base和BERT-Large之外，标准BERT配方（包括模型体系结构和训练目标）对多种模型尺寸均有效。 较小的BERT模型适用于计算资源有限的环境。 可以按照与原始BERT模型相同的方式对它们进行微调。 但是，它们在知识提炼的情况下最有效，在这种情况下，微调标签是由更大，更准确的老师制作的。 我们的目标是允许在计算资源较少的机构中进行研究，并鼓励社区寻找替代增加模型容量的创新方向。 您可以从 下载全部24个，也可以从下表单独下载： 高= 128 高= 256 高= 512 高= 768 L = 2 L = 4 L = 6 L = 8 L = 10 L = 12 请注意，此版本中包含的BERT-Base模型仅出于完整性考虑； 在与原始模型相同的条件下进行了重新训练。 这是测试集上相应的GLUE分数： 模型 得分 可乐 SST-2 MR
预训练模型汇总：下载地址&综述
程序的尽头是数学，一日不推导赶不上买买提
02-28 2327
常见类似bert,albert，roberta, bart等预训练模型下载地址汇总
BERT、RoBERTa下载地址map
weixin_43301333的博客
12-19 3679
BERT 1.vocab PRETRAINED_VOCAB_ARCHIVE_MAP = { ‘bert-base-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-vocab.txt”, ‘bert-large-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased-vocab.txt”,
chinese-roberta-wwm-ext模型下载
weixin_51867095的博客
12-12 812
分享huggingface模型chinese-roberta-wwm-ext的下载方式
transformers本地加载roberta模型pytorch
sdaujz的博客
05-04 8404
本地加载roberta-base模型文件， 在该网站下载模型文件：roberta-base at main (huggingface.co) 所需的有 config.json, merges.txt, pytorch_model.bin, vocab.json 路径组织结构： └─model │ merges.txt │ vocab.json │ └─roberta-base config.json ...
ALBERT-TF2.0:使用TF2.0的ALBERT模型预训练和微调
03-08
阿尔伯特-TF2.0 使用TF2.0的ALBERT模型微调 该存储库包含针对ALBERT的TensorFlow 2.0实现。 要求 python3 点安装-r requirements.txt ALBERT预训练 从零开始的ALBERT模型预训练和特定于域的微调。 说明 下载ALBERT TF 2.0砝码 Verison 1 版本2 将模型解压缩到存储库中。 以上重量不包含原始模型中的最后一层。 现在只能用于微调下游任务。 从TF-HUB到TF 2.0全权转换 下载胶水数据 使用以下cmd下载 python download_glue_data.py --data_dir glue_data --tasks all 微调 要准备用于最终模型训练的微调数据，请使用脚本。 tf_record格式的结果数据集和训练元数据应稍后传递给训练或评估脚本。 特定于任务的参数将在以下各节中介绍：
Albert Large QA模型.zip
07-02
Albert Large QA模型.zip
RoBERTa中文预训练模型.zip
07-01
RoBERTa中文预训练模型 概述 中文预训练RoBERTa模型 RoBERTa是BERT的改进版，通过改进训练任务和数据生成方式、训练更久、使用更大批次、使用更多数据等获得了State of The Art的效果；可以用Bert直接加载。 本项目是用TensorFlow实现了在大规模中文上RoBERTa的预训练，也会提供PyTorch的预训练模型和加载方式。 中文预训练RoBERTa模型-下载 6层RoBERTa体验版 RoBERTa-zh-Layer6: Google Drive 或 百度网盘，TensorFlow版本，Bert 直接加载, 大小为200M 推荐 RoBERTa-zh-Large 通过验证 RoBERTa-zh-Large: Google Drive 或 百度网盘 ，TensorFlow版本，Bert 直接加载 RoBERTa-zh-Large: Google Drive 或 百度网盘 ，PyTorch版本，Bert的PyTorch版直接加载 RoBERTa 24/12层版训练数据：30G原始文本，近3亿个句子，100亿个中文字(token)，产生了2.5亿个训练数据(instance)；覆盖新闻、社区问答、多个百科数据等； 本项目与中文预训练24层XLNet模型 XLNet_zh项目，使用相同的训练数据。 RoBERTa_zh_L12: Google Drive 或 百度网盘 TensorFlow版本，Bert 直接加载 RoBERTa_zh_L12: Google Drive 或百度网盘 PyTorch版本，Bert的PyTorch版直接加载 Roberta_l24_zh_base TensorFlow版本，Bert 直接加载 24层base版训练数据：10G文本，包含新闻、社区问答、多个百科数据等 什么是RoBERTa: 一种强大的用于预训练自然语言处理（NLP）系统的优化方法，改进了Transformers或BERT的双向编码器表示形式，这是Google在2018年发布的自监督方法。 RoBERTa在广泛使用的NLP基准通用语言理解评估（GLUE）上产生最先进的结果。 该模型在MNLI，QNLI，RTE，STS-B和RACE任务上提供了最先进的性能，并在GLUE基准上提供了可观的性能改进。 RoBERTa得分88.5，在GLUE排行榜上排名第一，与之前的XLNet-Large的表现相当。 效果测试与对比 Performance 互联网新闻情感分析：CCF-Sentiment-Analysis 模型 线上F1 BERT 80.3 Bert-wwm-ext 80.5 XLNet 79.6 Roberta-mid 80.5 Roberta-large (max_seq_length=512, split_num=1) 81.25 注：数据来源于guoday的开源项目；数据集和任务介绍见：CCF互联网新闻情感分析 自然语言推断：XNLI 模型 开发集 测试集 BERT 77.8 (77.4) 77.8 (77.5) ERNIE 79.7 (79.4) 78.6 (78.2) BERT-wwm 79.0 (78.4) 78.2 (78.0) BERT-wwm-ext 79.4 (78.6) 78.7 (78.3) XLNet 79.2 78.7 RoBERTa-zh-base 79.8 78.8 RoBERTa-zh-Large 80.2 (80.0) 79.9 (79.5) 注：RoBERTa_l24_zh，只跑了两次，Performance可能还会提升; BERT-wwm-ext来自于这里；XLNet来自于这里; RoBERTa-zh-base，指12层RoBERTa中文模型 问题匹配语任务：LCQMC(Sentence Pair Matching) 模型 开发集(Dev) 测试集(Test) BERT 89.4(88.4) 86.9(86.4) ERNIE 89.8 (89.6) 87.2 (87.0) BERT-wwm 89.4 (89.2) 87.0 (86.8) BERT-wwm-ext - - RoBERTa-zh-base 88.7 87.0 RoBERTa-zh-Large 89.9(89.6) 87.2(86.7) RoBERTa-zh-Large(20w_steps) 89.7 87.0 注：RoBERTa_l24_zh，只跑了两次，Performance可能还会提升。保持训练轮次和论文一致： 阅读理解测试 目前阅读理解类问题bert和roberta最优参数均为epoch2, batch=32, lr=3e-5, warmup=0.1 cmrc20
albert_zh：用于自我监督学习语言表示的精简BERT，海量中文预训练ALBERT模型
02-06
albert_zh 使用TensorFlow实现的实现ALBert基于Bert，但有一些改进...预训练小模型也能拿下13项NLP任务，ALBERT三大改造登顶GLUE基准一键运行10个数据集，9个层次模型，不同任务上模型效果的详细对比，见一键运行CLUE中
bertviz：在Transformer模型中可视化注意力的工具（BERT，GPT-2，Albert，XLNet，RoBERTa，CTRL等）
02-03
贝特维兹BertViz是用于可视化Transformer模型中注意力的工具，支持库中的所有模型（BERT，GPT-2，XLNet，RoBERTa，XLM，CTRL等）。 它扩展了的以及的库。资源资源 :joystick_selector: :writing_hand_selector: :...
用于在Transformer模型中可视化注意力的工具（BERT，GPT-2，Albert，XLNet，RoBERTa，CTRL等）-Python开发
05-25
BertViz BertViz是用于在Transformer模型中可视化注意力的工具，支持变压器库中的所有模型（BERT，GPT-2，XLNet，RoBERTa，XLM，CTRL等）。 它扩展了由BertViz提供的Tensor2Tensor可视化工具BertViz是用于可视化...
很棒的预训练中文nlp模型：很棒的预训练中文NLP模型，可以替换中文预训练模型集合
02-03
很棒的预训练中文nlp模型：很棒的预训练中文NLP模型，可以替换中文预训练模型集合
ubuntu下安装nccl具体教程
热门推荐
Thanours的博客
04-10 1万+
使用paddlepaddle框架进行多卡训练时报错： Traceback (most recent call last): File "train.py", line 210, in <module> do_train() File "train.py", line 91, in do_train paddle.distributed.init_parallel_env() File "/home/th/anaconda3/envs/paddle/lib/pytho...
目前情感分析预训练模型都有哪些
04-29
目前比较常见的情感分析预训练模型有以下几种： 1. BERT：Bidirectional Encoder Representations from Transformers，是由Google开发的基于Transformer架构的预训练模型。BERT在自然语言处理领域有很广泛的应用，包括情感分析。 2. RoBERTa：Robustly Optimized BERT Pretraining Approach, 是Facebook AI Research (FAIR) 提出的一种针对BERT的改进型模型。RoBERTa在预训练数据和训练技巧上做了很多优化，达到了比BERT更好的效果。 3. XLNet：eXtreme MultiLingual Language Model，是由CMU和Google Brain联合提出的一种基于Transformer-XL架构的预训练模型。XLNet的创新点在于使用了permutation language modeling(PLM)方法，可以克服BERT等模型中的masking问题。 4. ALBERT：A Lite BERT，是由Google提出的一种轻量级的BERT模型。ALBERT通过参数共享和嵌入因式分解等方式，大幅度减少了BERT的参数量，同时在保持精度的同时提高了训练速度。 5. ELECTRA：Efficiently Learning an Encoder that Classifies Token Replacements Accurately，是由Google提出的一种新型的预训练模型。ELECTRA模型在训练时通过替换原始文本中的部分词汇，来进行对抗式训练，让模型更好地理解上下文语义。 以上是目前比较流行的情感分析预训练模型，当然还有其他的模型也有不错的效果，选择哪种模型需要结合具体的应用场景和数据情况来进行选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TanH.blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值