大语言模型model官方文件整理【roberta_wwm,bert_wwm,bert,xlnet....】

最新推荐文章于 2024-11-01 11:00:55 发布
最新推荐文章于 2024-11-01 11:00:55 发布
阅读量2.4k 收藏 7
点赞数 2
分类专栏： NLP 文章标签： bert 语言模型 xlnet 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24729325/article/details/131417330
版权

tensorflow版本的模型 ：
链接：https://pan.baidu.com/s/10tjVfypoQy6G_mkZK6cqOQ?pwd=yljr
提取码：yljr
模型文件名模型简称语料版本地址github地址加载方式huggingface加载
chinese_roberta_wwm_large_ext_L-24_H-1024_A-16RoBERTa-wwm-ext-large, Chinese中文维基百科，其他百科、新闻、问答等数据，总词数达5.4Btensorflow百度网盘 请输入提取码GitHub - ymcui/Chinese-BERT-wwm: Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型）
hflchinese-roberta-wwm-ext-largepytorchhttps://huggingface.co/hfl/chinese-roberta-wwm-ext-largehfl/chinese-roberta-wwm-ext-large
chinese_roberta_wwm_ext_L-12_H-768_A-12RoBERTa-wwm-ext, Chinesetensorflow百度网盘 请输入提取码
hflchinese-roberta-wwm-extpytorchhttps://huggingface.co/hfl/chinese-roberta-wwm-exthfl/chinese-roberta-wwm-ext
chinese_bert_wwm_ext_L-12_H-768_A-12BERT-wwm-ext, Chinesetensorflow百度网盘 请输入提取码
hflchinese-bert-wwm-extpytorchhfl/chinese-bert-wwm-ext · Hugging Facehfl/chinese-bert-wwm-ext
chinese_bert_wwm_L-12_H-768_A-12BERT-wwm, Chinesetensorflow百度网盘 请输入提取码
hfl/chinese-bert-wwm-extpytorchhfl/chinese-bert-wwm
GitHub - brightmart/roberta_zh: RoBERTa中文预训练模型: RoBERTa for Chinese
roberta_zh_l12RoBERTa_zh_L1230G原始文本，近3亿个句子，100亿个中文字(token)，产生了2.5亿个训练数据(instance)；覆盖新闻、社区问答、多个百科数据等；tensorflowroberta_zh_l12.zip_免费高速下载|百度网盘-分享无限制Bert 直接加载
roeberta_zh_L-24_H-1024_A-16RoBERTa-zh-Largetensorflowroeberta_zh_L-24_H-1024_A-16.zip_免费高速下载|百度网盘-分享无限制Bert 直接加载
RoBERTa_zh_L12_PyTorchRoBERTa_zh_L12pytorchRoBERTa_zh_L12_PyTorch.zip_免费高速下载|百度网盘-分享无限制Bert的PyTorch版直接加载
chinese_L-12_H-768_A-12bert_base, Chinese中文维基百科https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zipGitHub - google-research/bert: TensorFlow code and pre-trained models for BERT
uncased_L-2_H-128_A-2bert_tiny, 24个bert_uncased模型https://storage.googleapis.com/bert_models/2020_02_20/all_bert_models.zip
uncased_L-4_H-256_A-4bert_mini, 24个bert_uncased 模型
uncased_L-4_H-512_A-8bert_small,24个bert_uncased
uncased_L-8_H-512_A-8bert_medium, 24个bert_uncased
uncased_L-12_H-768_A-12bert_base, 24个bert_uncased
chinese_xlnet_mid_L-24_H-768_A-12XLNet-mid, Chinese中文维基百科，其他百科、新闻、问答等数据，总词数达5.4Btensorflow百度网盘 请输入提取码GitHub - ymcui/Chinese-XLNet: Pre-Trained Chinese XLNet（中文XLNet预训练模型）hfl/chinese-xlnet-mid
hflchinese-xlnet-midpytorchhttps://huggingface.co/hfl/chinese-xlnet-mid
chinese_xlnet_base_L-12_H-768_A-12XLNet-base, Chinesetensorflow百度网盘 请输入提取码hfl/chinese-xlnet-base
hflchinese-xlnet-basepytorchhttps://huggingface.co/hfl/chinese-xlnet-base
albert_tiny_zhalbert_tiny_zhhttps://storage.googleapis.com/albert_zh/albert_tiny.zipGitHub - brightmart/albert_zh: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS, 海量中文预训练ALBERT模型
albert_tiny_489kalbert_tiny_zh(训练更久，累积学习20亿个样本)https://storage.googleapis.com/albert_zh/albert_tiny_489k.zip
albert_tiny_zh_googlealbert_tiny_google_zh(累积学习10亿个样本,google版本)https://storage.googleapis.com/albert_zh/albert_tiny_zh_google.zip
albert_small_zh_googlealbert_small_google_zh(累积学习10亿个样本,google版本)https://storage.googleapis.com/albert_zh/albert_small_zh_google.zip
albert_large_zhalbert_large_zhhttps://storage.googleapis.com/albert_zh/albert_large_zh.zip
albert_base_zhalbert_base_zh(小模型体验版)https://storage.googleapis.com/albert_zh/albert_base_zh.zip
albert_base_zh_additional_36k_stepsalbert_base_zh(额外训练了1.5亿个实例即 36k steps * batch_size 4096)https://storage.googleapis.com/albert_zh/albert_base_zh_additional_36k_steps.zip
albert_xlarge_zh_177kalbert_xlarge_zh_177khttps://storage.googleapis.com/albert_zh/albert_xlarge_zh_177k.zip
albert_xlarge_zh_183kalbert_xlarge_zh_183k（优先尝试）https://storage.googleapis.com/albert_zh/albert_xlarge_zh_183k.zip
voidfulalbert_chinese_tinypytorchhttps://huggingface.co/voidful/albert_chinese_tinyvoidful/albert_chinese_tiny
voidfulalbert_chinese_smallpytorchhttps://huggingface.co/voidful/albert_chinese_smallvoidful/albert_chinese_small
voidfulalbert_chinese_basepytorchvoidful/albert_chinese_base · Hugging Facevoidful/albert_chinese_base
voidfulalbert_chinese_largepytorchhttps://huggingface.co/voidful/albert_chinese_largevoidful/albert_chinese_large
voidfulalbert_chinese_xlargepytorchvoidful/albert_chinese_xlarge · Hugging Facevoidful/albert_chinese_xlarge
voidfulalbert_chinese_xxlargepytorchhttps://huggingface.co/voidful/albert_chinese_xxlargevoidful/albert_chinese_xxlarge
electra_180g_largeELECTRA-180g-large, Chinesetensorflow百度网盘 请输入提取码GitHub - ymcui/Chinese-ELECTRA: Pre-trained Chinese ELECTRA（中文ELECTRA预训练模型）hfl/chinese-electra-180g-large-discriminator
hflchinese-electra-180g-large-discriminatorpytorchhttps://huggingface.co/hfl/chinese-electra-180g-large-discriminator
electra_180g_baseELECTRA-180g-base, Chinesetensorflow百度网盘 请输入提取码hfl/chinese-electra-180g-base-discriminator
hflchinese-electra-180g-base-discriminatorpytorchhttps://huggingface.co/hfl/chinese-electra-180g-base-discriminator
electra_180g_small_exELECTRA-180g-small-ex, Chinesetensorflow百度网盘 请输入提取码hfl/chinese-electra-180g-small-ex-discriminator
hflchinese-electra-180g-small-ex-discriminatorpytorchhttps://huggingface.co/hfl/chinese-electra-180g-small-ex-discriminator
electra_180g_smallELECTRA-small, Chinesetensorflow百度网盘 请输入提取码hfl/chinese-electra-180g-small-discriminator
hflchinese-electra-180g-small-discriminatorpytorchhttps://huggingface.co/hfl/chinese-electra-180g-small-discriminator
chinese_macbert_largeMacBERT-large, Chinesetensorflow百度网盘 请输入提取码GitHub - ymcui/MacBERT: Revisiting Pre-trained Models for Chinese Natural Language Processing (MacBERT)hfl/chinese-macbert-large
hflchinese-macbert-largepytorchhttps://huggingface.co/hfl/chinese-macbert-large
chinese_macbert_baseMacBERT-base, Chinesetensorflow百度网盘 请输入提取码hfl/chinese-macbert-base
hflchinese-macbert-basepytorchhttps://cdn-lfs.huggingface.co/hfl/chinese-macbert-base
Erlangshen-SimCSE-110M-Chinesepytorch
unsup-simcse-bert-base-uncasedpytorch
sup-simcse-roberta-largepytorch
sup-simcse-bert-base-uncasedpytorch
albert-base-chinese-cluecorpussmallpytorch
哈工大中文信息处理_哈工大讯飞联合实验室发布中文XLNet预训练模型
weixin_39685762的博客
12-15 675
为了进一步促进中文信息处理发展，哈工大讯飞联合实验室(HFL)发布在大规模语料上训练的首个中文XLNet预训练模型，填补了该模型在中文自然语言处理领域的空白，同时该预训练模型在中文机器阅读理解等任务中获得显著性能提升。我们欢迎各界同行下载使用并共同参与建设中文资源。下载地址：https://github.com/ymcui/Chinese-PreTrained-XLNet摘要哈工大讯飞联...
中文 哈工大_哈工大讯飞联合实验室发布中文RoBERTawwmext预训练模型
weixin_39754398的博客
12-24 3892
哈工大讯飞联合实验室(HFL)相继发布了基于Whole Word Masking(WWM)的中文预训练BERT模型(BERT-wwm，BERT-wwm-ext)以及中文预训练XLNet模型(XLNet-mid，XLNet-base)，受到了业界广泛关注以及下载使用。近期，Facebook提出的RoBERTa模型进一步刷新了多个英文数据集的最好成绩，成为目前最流行的预训练模型之一。哈工大讯...
Chinese-BERT-wwm 项目常见问题解决方案
gitblog_09455的博客
09-13 427
Chinese-BERT-wwm 项目常见问题解决方案 Chinese-BERT-wwm Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型） ...
最好的大语言模型资源汇总 持续更新
最新发布
datayx的文章
11-01 194
向AI转型的程序员都关注公众号机器学习AI算法工程Contents数据 Data微调 Fine-Tuning推理 Inference评估 Evaluation体验 Usage知识库 RAG智能体 Agents搜索 Search书籍 Book课程 Course教程 Tutorial论文 PaperTips资料获取地址https://github.com/WangRongsheng/awesome-...
chinese-roberta-wwm-ext.rar
02-07
哈工大版本，for pytorch
chinese-roberta-wwm-ext模型下载
weixin_51867095的博客
12-12 1951
分享huggingface模型chinese-roberta-wwm-ext的下载方式
【大模型】大语言模型语料下载
runzhliu大数据/容器日记
11-12 1780
大模型训练中语料是非常重要的，目前公网上有各种各样的语料可以供下载，但是不可能每个用户、每次训练任务都通过公网去拉取语料，因此我们需要在语料平台上为用户提前下载并且注册一些需要的语料，通过语料平台维护一些公用的语料。鉴于语料下载的多样性，目前下载公网上的语料一般会先把语料下载到国外的服务器，然后再上传到华为云的 obs，最后再在 IDC 环境的服务器上将 obs 的数据下载到 CephFS 的语料目录（要求这台机器需要有外网以及挂载CephFS的权限）。
大语言模型微调以及开源数据集收集.zip
12-08
支持所有的大语言模型的微调以及内含中文训练集 有环境搭建教程以及文档说明
RoBERTa中文预训练模型.zip
07-01
RoBERTa中文预训练模型 概述 中文预训练RoBERTa模型 RoBERTa是BERT的改进版，通过改进训练任务和数据生成方式、训练更久、使用更大批次、使用更多数据等获得了State of The Art的效果；可以用Bert直接加载。 本项目是用TensorFlow实现了在大规模中文上RoBERTa的预训练，也会提供PyTorch的预训练模型和加载方式。 中文预训练RoBERTa模型-下载 6层RoBERTa体验版 RoBERTa-zh-Layer6: Google Drive 或 百度网盘，TensorFlow版本，Bert 直接加载, 大小为200M 推荐 RoBERTa-zh-Large 通过验证 RoBERTa-zh-Large: Google Drive 或 百度网盘 ，TensorFlow版本，Bert 直接加载 RoBERTa-zh-Large: Google Drive 或 百度网盘 ，PyTorch版本，Bert的PyTorch版直接加载 RoBERTa 24/12层版训练数据：30G原始文本，近3亿个句子，100亿个中文字(token)，产生了2.5亿个训练数据(instance)；覆盖新闻、社区问答、多个百科数据等； 本项目与中文预训练24层XLNet模型 XLNet_zh项目，使用相同的训练数据。 RoBERTa_zh_L12: Google Drive 或 百度网盘 TensorFlow版本，Bert 直接加载 RoBERTa_zh_L12: Google Drive 或百度网盘 PyTorch版本，Bert的PyTorch版直接加载 Roberta_l24_zh_base TensorFlow版本，Bert 直接加载 24层base版训练数据：10G文本，包含新闻、社区问答、多个百科数据等 什么是RoBERTa: 一种强大的用于预训练自然语言处理（NLP）系统的优化方法，改进了Transformers或BERT的双向编码器表示形式，这是Google在2018年发布的自监督方法。 RoBERTa在广泛使用的NLP基准通用语言理解评估（GLUE）上产生最先进的结果。 该模型在MNLI，QNLI，RTE，STS-B和RACE任务上提供了最先进的性能，并在GLUE基准上提供了可观的性能改进。 RoBERTa得分88.5，在GLUE排行榜上排名第一，与之前的XLNet-Large的表现相当。 效果测试与对比 Performance 互联网新闻情感分析：CCF-Sentiment-Analysis 模型 线上F1 BERT 80.3 Bert-wwm-ext 80.5 XLNet 79.6 Roberta-mid 80.5 Roberta-large (max_seq_length=512, split_num=1) 81.25 注：数据来源于guoday的开源项目；数据集和任务介绍见：CCF互联网新闻情感分析 自然语言推断：XNLI 模型 开发集 测试集 BERT 77.8 (77.4) 77.8 (77.5) ERNIE 79.7 (79.4) 78.6 (78.2) BERT-wwm 79.0 (78.4) 78.2 (78.0) BERT-wwm-ext 79.4 (78.6) 78.7 (78.3) XLNet 79.2 78.7 RoBERTa-zh-base 79.8 78.8 RoBERTa-zh-Large 80.2 (80.0) 79.9 (79.5) 注：RoBERTa_l24_zh，只跑了两次，Performance可能还会提升; BERT-wwm-ext来自于这里；XLNet来自于这里; RoBERTa-zh-base，指12层RoBERTa中文模型 问题匹配语任务：LCQMC(Sentence Pair Matching) 模型 开发集(Dev) 测试集(Test) BERT 89.4(88.4) 86.9(86.4) ERNIE 89.8 (89.6) 87.2 (87.0) BERT-wwm 89.4 (89.2) 87.0 (86.8) BERT-wwm-ext - - RoBERTa-zh-base 88.7 87.0 RoBERTa-zh-Large 89.9(89.6) 87.2(86.7) RoBERTa-zh-Large(20w_steps) 89.7 87.0 注：RoBERTa_l24_zh，只跑了两次，Performance可能还会提升。保持训练轮次和论文一致： 阅读理解测试 目前阅读理解类问题bert和roberta最优参数均为epoch2, batch=32, lr=3e-5, warmup=0.1 cmrc20
Chinese-BERT-wwm：汉语BERT的全字掩蔽预训练（EnglishBERT-wwm系列模型）
02-03
为了进一步促进中文信息处理的研究发展，我们发布了基于全词遮罩（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及更多技术相关的模型：BERT-wwm-ext，RoBERTa-wwm-ext，RoBERTa-wwm-ext-large，RBT3，RBTL...
基于预训练模型BERT、BERT-wwm的新闻情感分析系统python源码+项目说明+数据集.zip
06-19
基于预训练模型BERT、BERT-wwm的新闻情感分析系统python源码+项目说明+数据集.zip 【资源说明】 1.项目代码功能经验证ok，确保稳定可靠运行。欢迎下载使用！在使用过程中，如有问题或建议，请及时私信沟通。 2.主要...
关于各种中文Bert/xlnet模型
01-20
在自然语言处理领域，预训练模型已经成为理解和生成自然语言任务的核心。这些模型通过在大量无标注文本上学习通用的语言表示，然后在特定任务上进行微调，以提高性能。这里我们将探讨几种流行的中文预训练模型，包括...
中文roberta模型文件(tensorflow)
01-11
chinese_roberta_wwm_large_ext_L-24_H-1024_A-16的tensorflow版本，亲测可用。如果需要pytorch版本，请自行进行转换。
基于python的中文预训练RoBERTa模型型
03-21
基于python的中文预训练RoBERTa模型
找不到大语言模型开源数据集？这些请收好！
瓦罗兰特顶级C位的博客
09-24 1043
找不到大语言模型开源数据集？这些请收好！
大模型课程资料-全网最火29套全栈大模型项目实践
奇华资料的博客
06-26 743
29套AI全栈大模型项目实战，人工智能视频课程-多模态大模型，微调技术训练营，大模型多场景实战，AI图像处理，AI量化投资，OPenCV视觉处理，机器学习，Pytorch深度学习，推荐系统，自动驾驶，训练私有大模型，LLM大语言模型，大模型多场景实战，Agent智能应用，AIGC实战落地，ChatGPT虚拟数字人，Djourney智能绘画，ChatGPT仿简书项目，从设计到部署深度实践大模型应用开发落地全流程。1、29套精品是掌柜最近整理出的最新课程，都是当下最火的技术，最火的课程，也是全网课程的精品；
BERT、RoBERTa下载地址map
weixin_43301333的博客
12-19 4582
BERT 1.vocab PRETRAINED_VOCAB_ARCHIVE_MAP = { ‘bert-base-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-vocab.txt”, ‘bert-large-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased-vocab.txt”,
使用Git下载大语言模型
Python，数据分析，机器学习，深度学习
09-27 6758
在下载Huggingface和ModelScope上面的大语言预训练模型的时候，经常会因为网页无法访问或者文件太大无法下载的情况，是大家常常比较苦恼的事情，下面给出用Git下载模型到本地的方法，可以轻松解决上述问题。
[转] bert模型pytorch下载地址
随笔
10-22 905
词向量文本下载： PRETRAINED_VOCAB_ARCHIVE_MAP = { ‘bert-base-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-vocab.txt”, ‘bert-large-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased-vocab.txt”, ‘...
chinese_roberta_wwm_ext_pytorch下载
07-14
总结来说，下载chinese_roberta_wwm_ext_pytorch模型需要找到相应的代码库并下载模型文件，然后使用PyTorch框架加载模型和tokenizer，进行文本编码和模型推理。 ### 回答3： chinese_roberta_wwm_ext_pytorch是一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

tiki_taka_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值