预训练模型汇总：下载地址&综述

已于 2022-10-25 11:03:14 修改
阅读量2.8k 收藏 10
点赞数 2
分类专栏： nlp tensorflow ML 文章标签： 深度学习 自然语言处理 pytorch tensorflow
于 2022-02-28 16:24:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010212101/article/details/123185428
版权
本文介绍了各种中文预训练模型如BERT、RoBERTa、ERNIE等的下载地址，包括HuggingFace、mackedward-nlp等，并提供了相关论文和使用说明。概述了BERT的原理，以及邱锡鹏的预训练模型综述。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.下载地址

huggingface
https://huggingface.co/hfl/chinese-roberta-wwm-ext/tree/main

mackedward-nlp
https://github.com/makcedward/nlp

中文预训练模型
https://github.com/lonePatient/awesome-pretrained-chinese-nlp-models
https://github.com/ymcui/MacBERT
https://github.com/lonePatient/NeZha_Chinese_PyTorch
https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/NEZHA-TensorFlow

中文BERT
https://github.com/stupidHIGH/bert_family_tasks

中文RoBERTa
https://github.com/ymcui/Chinese-BERT-wwm

wobert
https://github.com/ZhuiyiTechnology/WoBERT

ngram_mask：ernie/spanbert
https://www.zhihu.com/question/315190433/answer/618543076

2.综述：

bert介绍
预训练模型综述-邱锡鹏
预训练模型综述

ps：上面模型下载地址中，基本都会附带使用说明以及相关论文

Audio-预训练模型（一）：概述
u013250861的博客
10-28 1813
专注于语音识别任务，一步步将预训练模型从特征提取器发展到带有离散化模块的端到端的自监督训练模型，一步步地挑战更为困难的语音识别数据集，使用更少的有标注数据或者完全使用无标注的数据，取得更好的结果。模型，通过加入句子混杂增强和句子之间的对比学习有效提升模型在speaker相关任务上的结果。模型，通过让中间层也去预测target使ASR结果明显提升（与data2vec比肩的结果），针对Speaker相关的任务提出了。"，把预训练模型做的更大更强，用1百万小时的youtube语音数据训练了8B参数的。
朝花夕拾：多模态图文预训练的前世今生
沉迷单车的追风少年
10-10 872
时间来到2024年，多模态大模型炙手可热。在上一个时代的【多模态图文预训练】宛若时代的遗珠，本文的时间线从2019年到2022年，从BERT横空出世讲到ViT大杀四方，再到MLLM大放异彩，全面梳理一下多模态图文预训练的前世今生。
chinese-roberta-wwm-ext模型下载
weixin_51867095的博客
12-12 2674
分享huggingface模型chinese-roberta-wwm-ext的下载方式
官方bert中文预训练模型
08-17
Google官方中文Bert预训练模型，当前模型为bert base模型，省去爬梯下载的烦恼，需要其他模型的可以私信
基于Bert模型的增量微调1-模型下载和使用
最新发布
沐雪架构师
03-12 393
bert-base-chinese模型：https://huggingface.co/google-bert/bert-base-chinese
预训练模型的下载
wwwwzm的博客
03-13 874
【代码】预训练模型的下载。
BERT 开源的预训练中文语言模型 Chinese_L-12_H-768_A-12 下载
早知晓的博客
03-28 3401
BERT 开源的预训练中文语言模型 Chinese_L-12_H-768_A-12 下载地址。
2、下载预训练模型并进行迁移学习
抄而不思则废
06-30 4921
相关文件下载地址： 链接：https://pan.baidu.com/s/1iBvOLAUamBTd70xRf5m2Ag 提取码：5bt7
Pytorch模型训练到哪里找预训练模型？
小鹏AI
12-27 2487
使用预训练模型，我们有两种方式 加载torchvison中的模型，然后定义 pretrained=True 采用pretrainedmodels模块 torchvision方式 from torchvision.models.resnet import resnet18 net = resnet18(pretrained=True) 采用pretrainedmodels模块 安装pretrainedmodels模块 pip install pretrainedmodels 安装好后，我们可以查
论文阅读：Pre-trained Models for Natural Language Processing: A Survey 综述：自然语言处理的预训练模型
热门推荐
南有芙蕖
05-06 1万+
Pre-trained Models for Natural Language Processing: A Survey 综述：自然语言处理的预训练模型 目录Pre-trained Models for Natural Language Processing: A Survey综述：自然语言处理的预训练模型摘要关键词1引言2 背景2.1语言表示学习2.2神经上下文编码器2.3为什么要进行预训练？2...
VLP：《视觉-语言预训练》综述
u013250861的博客
12-12 1074
我们从特征提取、模型架构、预训练目标、预训练数据集和下游任务五个方面回顾了它的最新进展，并详细总结了具体的 SOTA VLP 模型。然而，之前的一些工作，例如 VideoBERT、ImageBERT、ALIGN和 CLIP，处理从互联网收集的大量数据并使用他们自己构建的数据集进行训练。最后，我们讨论了 VLP 的新领域。在本节中，我们从两个不同的角度介绍 VLP 模型的架构：(1)从多模态融合的角度分为单流与双流，以及（2）从整体架构设计来看分为only-encoder与encoder-decoder。
自然语言处理中文预训练模型-微博
01-31
资源来自 https://github.com/Embedding/Chinese-Word-Vectors
基于python的中文预训练RoBERTa模型型
03-21
基于python的中文预训练RoBERTa模型
NLP中文预训练模型泛化能力挑战赛-Baseline算法实现
徐先森的博客
12-30 769
NLP中文预训练模型泛化能力挑战赛，使用tensorflow1.x版本实现Baseline算法，第一阶段分数0.6236
Nezha中文预训练模型
Hekena的博客
04-05 1534
from transformers import AutoTokenizer, AutoModelForMaskedLM tokenizer = AutoTokenizer.from_pretrained("peterchou/nezha-chinese-base") from transformers import AutoModel nezha=AutoModel.from_pretrained("peterchou/nezha-chinese-base") model = AutoModelForM
Keras预训练模型下载及迁移学习
wyyang2的博客
02-18 2051
Keras 预训练模型简介 在 Keras 中，包含有一个辅助应用模块 keras.applications，其提供了带有预训练权重的 Keras 模型。你可以直接使用这些模型，或者像本文一样对模型进行改造后完成迁移学习。 计算机视觉领域，有 3 个最著名的比赛，分别是：ImageNet ILSVRC，PASCAL VOC 和微软 COCO 图像识别大赛。其中，Keras 中的模型大多是以 ImageNet 提供的数据集进行权重训练。 目前，Keras 包含有 5 个预训练模型，分别为：Xception，V
pytorch迁移学习模型下载
NLP与推荐算法
12-25 558
搞了半天才发现，电脑端可能因为没有GPU【后来发现缓存中cache有了】，所以不下载resnet模型 而服务器不同，getattr直接就下载模型了，真几把6 这一点与tf显式下载还真不一样，当然torch也有类似的方法，差不多 resnet50 = models.resnet50(pretrained=True) ...
NLP预训练模型大集合
机器学习算法与Python学习
12-29 861
源 / 机器之心词语和句子嵌入已经成为任何基于深度学习的自然语言处理系统的必备组成部分。它们将词语和句子编码成稠密的定长向量，从而大大地提升神经网络处理文本数据的能力。近...
开源代码的预训练模型一般在哪个文件夹里
weixin_42593130的博客
02-16 434
开源代码的预训练模型可能存储在不同的文件夹中，具体取决于该模型的开发者和存储位置。通常，您可以在模型的开源存储库或网站上找到有关模型的详细信息和下载链接，该链接可能包含预训练模型文件的位置和名称。您还可以查看模型的文档或使用说明，以获取更多关于模型文件位置和使用方法的信息。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值