大语言模型model官方文件整理【roberta_wwm,bert_wwm,bert,xlnet....】

最新推荐文章于 2025-04-15 14:18:37 发布
最新推荐文章于 2025-04-15 14:18:37 发布
阅读量2.7k 收藏 10
点赞数 3
分类专栏： NLP 文章标签： bert 语言模型 xlnet 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24729325/article/details/131417330
版权

tensorflow版本的模型 ：
链接：https://pan.baidu.com/s/10tjVfypoQy6G_mkZK6cqOQ?pwd=yljr
提取码：yljr
模型文件名模型简称语料版本地址github地址加载方式huggingface加载
chinese_roberta_wwm_large_ext_L-24_H-1024_A-16RoBERTa-wwm-ext-large, Chinese中文维基百科，其他百科、新闻、问答等数据，总词数达5.4Btensorflow百度网盘 请输入提取码GitHub - ymcui/Chinese-BERT-wwm: Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型）
hflchinese-roberta-wwm-ext-largepytorchhttps://huggingface.co/hfl/chinese-roberta-wwm-ext-largehfl/chinese-roberta-wwm-ext-large
chinese_roberta_wwm_ext_L-12_H-768_A-12RoBERTa-wwm-ext, Chinesetensorflow百度网盘 请输入提取码
hflchinese-roberta-wwm-extpytorchhttps://huggingface.co/hfl/chinese-roberta-wwm-exthfl/chinese-roberta-wwm-ext
chinese_bert_wwm_ext_L-12_H-768_A-12BERT-wwm-ext, Chinesetensorflow百度网盘 请输入提取码
hflchinese-bert-wwm-extpytorchhfl/chinese-bert-wwm-ext · Hugging Facehfl/chinese-bert-wwm-ext
chinese_bert_wwm_L-12_H-768_A-12BERT-wwm, Chinesetensorflow百度网盘 请输入提取码
hfl/chinese-bert-wwm-extpytorchhfl/chinese-bert-wwm
GitHub - brightmart/roberta_zh: RoBERTa中文预训练模型: RoBERTa for Chinese
roberta_zh_l12RoBERTa_zh_L1230G原始文本，近3亿个句子，100亿个中文字(token)，产生了2.5亿个训练数据(instance)；覆盖新闻、社区问答、多个百科数据等；tensorflowroberta_zh_l12.zip_免费高速下载|百度网盘-分享无限制Bert 直接加载
roeberta_zh_L-24_H-1024_A-16RoBERTa-zh-Largetensorflowroeberta_zh_L-24_H-1024_A-16.zip_免费高速下载|百度网盘-分享无限制Bert 直接加载
RoBERTa_zh_L12_PyTorchRoBERTa_zh_L12pytorchRoBERTa_zh_L12_PyTorch.zip_免费高速下载|百度网盘-分享无限制Bert的PyTorch版直接加载
chinese_L-12_H-768_A-12bert_base, Chinese中文维基百科https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zipGitHub - google-research/bert: TensorFlow code and pre-trained models for BERT
uncased_L-2_H-128_A-2bert_tiny, 24个bert_uncased模型https://storage.googleapis.com/bert_models/2020_02_20/all_bert_models.zip
uncased_L-4_H-256_A-4bert_mini, 24个bert_uncased 模型
uncased_L-4_H-512_A-8bert_small,24个bert_uncased
uncased_L-8_H-512_A-8bert_medium, 24个bert_uncased
uncased_L-12_H-768_A-12bert_base, 24个bert_uncased
chinese_xlnet_mid_L-24_H-768_A-12XLNet-mid, Chinese中文维基百科，其他百科、新闻、问答等数据，总词数达5.4Btensorflow百度网盘 请输入提取码GitHub - ymcui/Chinese-XLNet: Pre-Trained Chinese XLNet（中文XLNet预训练模型）hfl/chinese-xlnet-mid
hflchinese-xlnet-midpytorchhttps://huggingface.co/hfl/chinese-xlnet-mid
chinese_xlnet_base_L-12_H-768_A-12XLNet-base, Chinesetensorflow百度网盘 请输入提取码hfl/chinese-xlnet-base
hflchinese-xlnet-basepytorchhttps://huggingface.co/hfl/chinese-xlnet-base
albert_tiny_zhalbert_tiny_zhhttps://storage.googleapis.com/albert_zh/albert_tiny.zipGitHub - brightmart/albert_zh: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS, 海量中文预训练ALBERT模型
albert_tiny_489kalbert_tiny_zh(训练更久，累积学习20亿个样本)https://storage.googleapis.com/albert_zh/albert_tiny_489k.zip
albert_tiny_zh_googlealbert_tiny_google_zh(累积学习10亿个样本,google版本)https://storage.googleapis.com/albert_zh/albert_tiny_zh_google.zip
albert_small_zh_googlealbert_small_google_zh(累积学习10亿个样本,google版本)https://storage.googleapis.com/albert_zh/albert_small_zh_google.zip
albert_large_zhalbert_large_zhhttps://storage.googleapis.com/albert_zh/albert_large_zh.zip
albert_base_zhalbert_base_zh(小模型体验版)https://storage.googleapis.com/albert_zh/albert_base_zh.zip
albert_base_zh_additional_36k_stepsalbert_base_zh(额外训练了1.5亿个实例即 36k steps * batch_size 4096)https://storage.googleapis.com/albert_zh/albert_base_zh_additional_36k_steps.zip
albert_xlarge_zh_177kalbert_xlarge_zh_177khttps://storage.googleapis.com/albert_zh/albert_xlarge_zh_177k.zip
albert_xlarge_zh_183kalbert_xlarge_zh_183k（优先尝试）https://storage.googleapis.com/albert_zh/albert_xlarge_zh_183k.zip
voidfulalbert_chinese_tinypytorchhttps://huggingface.co/voidful/albert_chinese_tinyvoidful/albert_chinese_tiny
voidfulalbert_chinese_smallpytorchhttps://huggingface.co/voidful/albert_chinese_smallvoidful/albert_chinese_small
voidfulalbert_chinese_basepytorchvoidful/albert_chinese_base · Hugging Facevoidful/albert_chinese_base
voidfulalbert_chinese_largepytorchhttps://huggingface.co/voidful/albert_chinese_largevoidful/albert_chinese_large
voidfulalbert_chinese_xlargepytorchvoidful/albert_chinese_xlarge · Hugging Facevoidful/albert_chinese_xlarge
voidfulalbert_chinese_xxlargepytorchhttps://huggingface.co/voidful/albert_chinese_xxlargevoidful/albert_chinese_xxlarge
electra_180g_largeELECTRA-180g-large, Chinesetensorflow百度网盘 请输入提取码GitHub - ymcui/Chinese-ELECTRA: Pre-trained Chinese ELECTRA（中文ELECTRA预训练模型）hfl/chinese-electra-180g-large-discriminator
hflchinese-electra-180g-large-discriminatorpytorchhttps://huggingface.co/hfl/chinese-electra-180g-large-discriminator
electra_180g_baseELECTRA-180g-base, Chinesetensorflow百度网盘 请输入提取码hfl/chinese-electra-180g-base-discriminator
hflchinese-electra-180g-base-discriminatorpytorchhttps://huggingface.co/hfl/chinese-electra-180g-base-discriminator
electra_180g_small_exELECTRA-180g-small-ex, Chinesetensorflow百度网盘 请输入提取码hfl/chinese-electra-180g-small-ex-discriminator
hflchinese-electra-180g-small-ex-discriminatorpytorchhttps://huggingface.co/hfl/chinese-electra-180g-small-ex-discriminator
electra_180g_smallELECTRA-small, Chinesetensorflow百度网盘 请输入提取码hfl/chinese-electra-180g-small-discriminator
hflchinese-electra-180g-small-discriminatorpytorchhttps://huggingface.co/hfl/chinese-electra-180g-small-discriminator
chinese_macbert_largeMacBERT-large, Chinesetensorflow百度网盘 请输入提取码GitHub - ymcui/MacBERT: Revisiting Pre-trained Models for Chinese Natural Language Processing (MacBERT)hfl/chinese-macbert-large
hflchinese-macbert-largepytorchhttps://huggingface.co/hfl/chinese-macbert-large
chinese_macbert_baseMacBERT-base, Chinesetensorflow百度网盘 请输入提取码hfl/chinese-macbert-base
hflchinese-macbert-basepytorchhttps://cdn-lfs.huggingface.co/hfl/chinese-macbert-base
Erlangshen-SimCSE-110M-Chinesepytorch
unsup-simcse-bert-base-uncasedpytorch
sup-simcse-roberta-largepytorch
sup-simcse-bert-base-uncasedpytorch
albert-base-chinese-cluecorpussmallpytorch
bert中文使用总结
sarracode的博客
10-13 1万+
可以通过使用transformers库来快速调用bert Transformers是TensorFlow 2.0和PyTorch的最新自然语言处理库。Transformers(以前称为pytorch-transformers和pytorch-pretrained-bert)提供用于自然语言理解(NLU)和自然语言生成(NLG)的最先进的模型(BERT，GPT-2，RoBERTa，XLM，DistilBert，XLNet，CTRL ...) ，拥有超过32种预训练模型，支持100多种语言，并且在Tensor
chinese-roberta-wwm-ext.rar
02-07
哈工大版本，for pytorch
Chinese-BERT-wwm 项目常见问题解决方案
gitblog_09455的博客
09-13 501
Chinese-BERT-wwm 项目常见问题解决方案 Chinese-BERT-wwm Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型） ...
LLM大模型下载方式
u010249118的博客
03-20 854
如需具体模型的完整下载步骤或更多开源 LLMs 列表，可参考 [网页1] 的 15 款热门模型盘点及 [网页2][网页4] 的技术文档。提供中文界面及国内服务器加速，支持直接搜索并下载主流模型（如 Qwen、ChatGLM 等），适合不熟悉命令行的用户。命令克隆仓库，但需注意此方式不支持断点续传且会包含历史版本，可能占用更多存储空间。此方式自动缓存模型文件，适合开发者快速集成到项目中。
chinese-roberta-wwm-ext模型下载
weixin_51867095的博客
12-12 2633
分享huggingface模型chinese-roberta-wwm-ext的下载方式
open ai whisper MODELS 语言模型下载地址
蜗牛牛的博客
09-30 2157
【代码】open ai whisper MODELS 语言模型下载地址。
【大模型】大语言模型语料下载
runzhliu大数据/容器日记
11-12 1936
大模型训练中语料是非常重要的，目前公网上有各种各样的语料可以供下载，但是不可能每个用户、每次训练任务都通过公网去拉取语料，因此我们需要在语料平台上为用户提前下载并且注册一些需要的语料，通过语料平台维护一些公用的语料。鉴于语料下载的多样性，目前下载公网上的语料一般会先把语料下载到国外的服务器，然后再上传到华为云的 obs，最后再在 IDC 环境的服务器上将 obs 的数据下载到 CephFS 的语料目录（要求这台机器需要有外网以及挂载CephFS的权限）。
大语言模型微调以及开源数据集收集.zip
12-08
支持所有的大语言模型的微调以及内含中文训练集 有环境搭建教程以及文档说明
大模型课程资料-全网最火29套全栈大模型项目实践
奇华资料的博客
06-26 981
29套AI全栈大模型项目实战，人工智能视频课程-多模态大模型，微调技术训练营，大模型多场景实战，AI图像处理，AI量化投资，OPenCV视觉处理，机器学习，Pytorch深度学习，推荐系统，自动驾驶，训练私有大模型，LLM大语言模型，大模型多场景实战，Agent智能应用，AIGC实战落地，ChatGPT虚拟数字人，Djourney智能绘画，ChatGPT仿简书项目，从设计到部署深度实践大模型应用开发落地全流程。1、29套精品是掌柜最近整理出的最新课程，都是当下最火的技术，最火的课程，也是全网课程的精品；
RoBERTa中文预训练模型.zip
07-01
RoBERTa中文预训练模型 概述 中文预训练RoBERTa模型 RoBERTa是BERT的改进版，通过改进训练任务和数据生成方式、训练更久、使用更大批次、使用更多数据等获得了State of The Art的效果；可以用Bert直接加载。 本...
Chinese-BERT-wwm：汉语BERT的全字掩蔽预训练（EnglishBERT-wwm系列模型）
02-03
为了进一步促进中文信息处理的研究发展，我们发布了基于全词遮罩（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及更多技术相关的模型：BERT-wwm-ext，RoBERTa-wwm-ext，RoBERTa-wwm-ext-large，RBT3，RBTL...
基于预训练模型BERT、BERT-wwm的新闻情感分析系统python源码+项目说明+数据集.zip
06-19
基于预训练模型BERT、BERT-wwm的新闻情感分析系统python源码+项目说明+数据集.zip 【资源说明】 1.项目代码功能经验证ok，确保稳定可靠运行。欢迎下载使用！在使用过程中，如有问题或建议，请及时私信沟通。 2.主要...
中文roberta模型文件(tensorflow)
01-11
chinese_roberta_wwm_large_ext_L-24_H-1024_A-16的tensorflow版本，亲测可用。如果需要pytorch版本，请自行进行转换。
AI大模型技术资料集合.zip
09-09
AI大模型技术资料集合.zip
关于各种中文Bert/xlnet模型
01-20
在自然语言处理领域，预训练模型已经成为理解和生成自然语言任务的核心。这些模型通过在大量无标注文本上学习通用的语言表示，然后在特定任务上进行微调，以提高性能。这里我们将探讨几种流行的中文预训练模型，包括...
找不到大语言模型开源数据集？这些请收好！
瓦罗兰特顶级C位的博客
09-24 1104
找不到大语言模型开源数据集？这些请收好！
下载Huggingface的cardiffnlp/twitter-roberta-base-sentiment模型
m0_62593364的博客
02-15 222
因 Huggingface 为国外网站，我们从该网站下载模型和数据集时总会因网络不稳定、限速等问题下载模型和数据失败。
AI大模型学习，人工智能深度学习，PyTorch，AIGC实战，ChatGpt，完整版
最新发布
litz52001的专栏
04-15 543
AI大模型学习，人工智能深度学习，PyTorch，AIGC实战，AIGC实战，ChatGpt快速开发应用，Transformers， PyTorch，LangChain，模型微调等等 ，资源来源于网络仅用于个人学习，禁止用于商业用途，如有冒犯请联系删除。
终于！有人总结了大模型学习资料！零基础入门到精通，收藏这一篇就够了
Python_paipai的博客
09-05 1398
大家好，我发现了一个大模型学习的神库，包含大量LLM教材和资料，并绘制了学习路线图。可以帮助快速掌握大模型的应用和开发技巧。
chinese_roberta_wwm_ext_pytorch下载
07-14
### 回答1： 要下载Chinese_roberta_wwm_ext_pytorch，首先需要确定下载来源和平台。一般来说，可以在开源社区或者代码托管平台找到该模型的下载链接。在网上搜索“Chinese_roberta_wwm_ext_pytorch下载”可以获得相关的下载资源。 在找到下载链接后，点击链接进入下载页面。根据页面上的指引和说明，选择合适的版本和格式进行下载。通常情况下，会提供预训练好的模型文件和相应的代码。 下载完成后，解压缩模型文件。通常情况下，模型文件会以压缩包的形式进行下载，所以需要解压缩以获得可用的模型文件。 接下来，可以使用Python的torch或者pytorch库进行模型的加载和使用。根据具体的使用场景和需求，可以参考相关的文档和代码示例。 要注意的是，Chinese_roberta_wwm_ext_pytorch是基于PyTorch框架的预训练模型，所以在下载前需要确保已安装PyTorch和相关的依赖库。 总结起来，要下载Chinese_roberta_wwm_ext_pytorch，首先找到下载链接，然后选择合适的版本和格式进行下载，解压缩模型文件，最后使用PyTorch库进行加载和使用。 ### 回答2： chinese_roberta_wwm_ext_pytorch是一个基于PyTorch框架的汉语预训练模型。它是对RoBERTa模型的扩展，专门为中文自然语言处理任务而设计。下载chinese_roberta_wwm_ext_pytorch分为以下几个步骤： 1. 在GitHub上搜索chinese_roberta_wwm_ext_pytorch，找到该模型的开源代码库。 2. 确保你已经安装了PyTorch框架以及其他相关依赖库，如Transformers。 3. 在代码库中找到下载链接，点击链接下载模型文件。通常，该模型文件的格式为.pth或.bin。 4. 下载完成后，将模型文件保存在你的工作目录中，以备后续使用。 使用chinese_roberta_wwm_ext_pytorch模型时，可以参考以下示例代码： ```python import torch from transformers import AutoTokenizer, AutoModel # 加载tokenizer和model tokenizer = AutoTokenizer.from_pretrained("chinese_roberta_wwm_ext_pytorch") model = AutoModel.from_pretrained("chinese_roberta_wwm_ext_pytorch") # 输入文本 text = "这是一个例子。" # 文本编码和模型推理 inputs = tokenizer(text, return_tensors="pt") outputs = model(**inputs) # 获取模型的预测结果 hidden_states = outputs.last_hidden_state ``` 以上代码中，我们首先通过`AutoTokenizer`和`AutoModel`加载了预训练的tokenizer和模型。然后，我们将文本输入通过tokenizer进行编码，生成模型所需的输入张量`inputs`。接下来，我们将编码后的输入传递给模型，得到模型的输出结果`outputs`。最后，我们从输出结果中获取最后一层的隐藏状态`hidden_states`，可用于后续任务。 总结来说，下载chinese_roberta_wwm_ext_pytorch模型需要找到相应的代码库并下载模型文件，然后使用PyTorch框架加载模型和tokenizer，进行文本编码和模型推理。 ### 回答3： chinese_roberta_wwm_ext_pytorch是一个预训练的中文RoBERTa模型，它基于PyTorch实现。RoBERTa在自然语言处理任务中具有很高的性能，可以用于文本分类、词性标注、命名实体识别等多种任务。 要下载chinese_roberta_wwm_ext_pytorch模型，首先需要在互联网上找到可靠的下载源。可以通过搜索引擎或者在GitHub等代码托管平台上查找。找到对应的下载链接后，点击链接进入下载页面。 在下载页面上，一般会提供下载命令或者直接提供预训练模型文件的下载链接。根据页面的提示进行相应的操作即可完成下载过程。 下载完成后，可以将模型文件解压缩到本地的指定目录中，以方便后续使用。通常模型文件会以一个文件夹的形式存在，其中包含了模型的参数、配置文件以及其他相关文件。 下载好模型后，就可以在项目中通过加载模型文件，使用其中的预训练参数进行文本处理任务。使用PyTorch的相关API可以很方便地加载模型，然后将待处理的文本输入模型，获取模型的输出结果。 总之，要下载chinese_roberta_wwm_ext_pytorch模型，需要找到可靠的下载源，按照下载页面的提示进行下载和解压缩，然后在项目中加载模型，使用其进行中文文本处理任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

tiki_taka_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值