关于各种中文Bert/xlnet模型

最新推荐文章于 2024-02-18 11:44:43 发布
最新推荐文章于 2024-02-18 11:44:43 发布
阅读量856 收藏 3
点赞数
分类专栏： bert 深度学习 文章标签： 自然语言处理 pytorch 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/song0206/article/details/104379405
版权
google的bert_basehttps://github.com/google-research/bert哈工大的wwm和wwm-exthttps://gitee.com/yiweilu/Chinese-BERT-wwmgoogle的ALberthttps://github.com/google-research/ALBERT中文Robertahttps://git...
摘要由CSDN通过智能技术生成

google的bert_base

https://github.com/google-research/bert

哈工大的wwm和wwm-ext  以及ELECTRA

https://gitee.com/yiweilu/Chinese-BERT-wwm

https://github.com/ymcui/Chinese-ELECTRA  (目前仅仅有tensorflow版本 )

google的ALbert

https://github.com/google-research/ALBERT

中文Roberta

https://github.com/brightmart/roberta_zh

华为的哪吒

https://blog.csdn.net/zandaoguang/article/details/103419578（对哪吒的简单介绍，文本分类和序列标注以及机器阅读理解）

https://github.com/huawei-noah/Pretr

最低0.47元/天 解锁文章
song0206
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【回答问题】ChatGPT上线了！推荐30个以上比较好的中文bert系列的模型/压缩模型
源代码杀手的博客
01-03 2976
RoBERTa-WWM-Ext, Chinese: 中文 RoBERTa 加入了 whole word masking 且扩展了训练数据的版本。XLM-RoBERTa-Base, Chinese: 中文 XLM-RoBERTa 基础版，在 RoBERTa 的基础上使用了多语言训练数据。RoBERTa-Base, Chinese: 中文 RoBERTa 基础版，在 BERT 的基础上进行了进一步优化。XLM-RoBERTa-Large, Chinese: 中文 XLM-RoBERTa 大型版。
bert中文分类模型训练+推理+部署
weixin_43590290的博客
09-09 7191
bert简介
推荐30个以上比较好的中文bert压缩模型
weixin_35756892的博客
01-03 1076
Bert是一种自然语言处理领域的预训练模型，它使用了大量的中文文本数据进行预训练，可以帮助你在中文任务上实现更好的性能。下面是一些比较流行的中文Bert模型，你可以根据自己的需要选择使用: 中文Bert-Base：这是一个中文Bert模型的基础版本，具有较低的计算资源要求，但性能较差。 中文Bert-Large：这是一个中文Bert模型的大型版本，具有较高的计算资源要求，但性能也更优秀。 中...
【文本分类】利用bert-base-chinese训练自己的模型完成中文文本分类任务（pytorch实现）
最新发布
qq_43426908的博客
02-18 5512
【文本分类】利用bert-base-chinese训练自己的模型完成中文文本分类任务（pytorch实现）
【深度学习】RoBERTa模型详解和实践
海贼王的博客
01-07 1万+
RoBERTa模型详解和实践 Robustly optimized BERT approach. 内容介绍： RoBERTa改进思路和原文详解 bert4keras工具使用 基于RoBERTa的2020语言与智能技术竞赛-阅读理解任务实战 代码：基于RoBERTa的2020语言与智能技术竞赛-阅读理解任务实战(Colab需翻墙) 工具：bert4keras 论文：https://arxiv.org/pdf/1907.11692.pdf CLUE阅读理解排行榜：https://www.cluebenc
Sentence Transformers: 使用BERT / XLNet进行句子嵌入-python
06-18
Sentence Transformers: 使用BERT / XLNet进行句子嵌入 Sentence Transformers：使用 BERT / RoBERTa / XLM-RoBERTa & Co. 和 PyTorch BERT / RoBERTa / XLM-RoBERTa 的多语言句子嵌入产生开箱即用的相当糟糕的...
awesome-bert：伯特nlp论文，应用程序和github资源，包括最新的xlnet，BERT，XLNet相关论文和github项目
02-03
伯特（BERT），全称是Bidirectional Encoder Representations from Transformers，是谷歌...通过深入研究BERT、XLNet等模型，以及相关应用和项目，我们可以更好地理解和利用这些先进模型，推动自然语言处理技术的进步。
sentence-transformers:BERT和XLNet的句子嵌入
03-17
这些模型基于诸如BERT / RoBERTa / XLM-RoBERTa等的转换器网络，并经过专门调整以有意义的句子嵌入，以使具有相似含义的句子在向量空间中接近。 我们为100多种语言提供了越来越多的，并针对各种用例进行了微调。 ...
xlnet_cased_L-12_H-768_A12.zip
12-29
XLNet模型的设计理念是克服BERT的局限性。BERT采用的是双向Transformer架构，但在预训练阶段，每个位置的词只能看到其左侧的上下文信息，这限制了模型对全局信息的获取。为了解决这个问题，XLNet引入了Transformer-...
bert-wwm.pdf
05-12
哈工大联合迅飞实验室推出的中文bert全遮挡论文。本文档为英文版，仅供学习参考使用，不做其它用图，大家可以自行下载。
官方bert中文预训练模型
08-17
Google官方中文Bert预训练模型，当前模型为bert base模型，省去爬梯下载的烦恼，需要其他模型的可以私信
推荐30个以上比较好的中文bert系列的模型
weixin_35750483的博客
01-03 1508
以下是一些中文 BERT 系列的模型: BERT-Base, Chinese: 中文 BERT 基础版 BERT-Large, Chinese: 中文 BERT 大型版 BERT-WWM, Chinese: 中文 BERT 加入了 whole word masking 的版本 BERT-WWM-Ext, Chinese: 中文 BERT 加入了 whole word masking 且扩展了训练...
【BERT类预训练模型整理】
Wwwwwww527的博客
05-16 4461
BERT类预训练模型整理一、BERT的相关内容BERT的预训练技术1.掩码机制2.NSP（ Next Sentence Prediction）BERT模型的局限性二、RoBERT的相关内容三、SpanBERTa的相关内容四、ALBERT的相关内容五、MacBERT的相关内容 在本帖中，小阿奇将从中文预训练模型的角度去回顾最近自然语言处理领域中代表性的预训练语言模型的技术，自己也进行一个详细的整理 一、BERT的相关内容 BERT(来自transformer的双向编码器表示)(Devlin等人，2019年)在
BERT模型系列大全解读
sgyuanshi的博客
02-22 2388
本文讲解的BERT系列模型主要是**自编码语言模型**-AE LM（AutoEncoder Language Model）：通过在输入X中随机掩码（mask）一部分单词，然后预训练的主要任务之一就是根据上下文单词来预测这些单词，从而得到的预训练语言模型。
WoBERT-基于词颗粒度的中文BERT
yaohaishen的专栏
03-17 4351
原文-https://kexue.fm/archives/7758 当前，大部分中文预训练模型都是以字为基本单位的，也就是说中文语句会被拆分为一个个字。中文也有一些多颗粒度的语言模型，比如创新工场的ZEN和字节跳动的AMBERT，但这类模型的基本单位还是字，只不过想办法融合了词信息。目前以词为单位的中文预训练模型很少，据笔者所了解到就只有腾讯UER开源了一个以词为颗粒度的BERT模型，但实测效果并不好。 那么，纯粹以词为单位的中文预训练模型效果究竟如何呢？有没有它的存在价值呢？最近，我们预训练并开源了以
Bert中文文本多分类与传统BOW+tfidf+LR中文文本多分类对比
yyshouder的博客
06-04 3666
最近在重温bert，对bert的中文文本多分类的效果很好奇，并将其与传统的非pre-train模型进行对比，除此之外，由于选用的是12层的base版的bert，还从第0层开始到12层，对每一层的输出进行了校验和测试。想看看每一层的transformer对bert分类效果的影响。此外，还取用了12层的element-wise的平均值进行bert结果的评估，结论以及操作方式如下。 ...
NLP之BERT中文文本分类超详细教程
热门推荐
小小码农
04-24 5万+
bert模型是Google在2018年10月发布的语言表示模型，Bert在NLP领域横扫了11项任务的最优结果，可以说是现今最近NLP中最重要的突破。Bert模型的全称是Bidirectional Encoder Representations from Transformers，是通过训练Masked Language Model和预测下一句任务得到的模型。关于Bert具体训练的细节和更多的原...
Pytorch——XLNet 预训练模型及命名实体识别
张伟的专栏
08-20 2604
介绍 在之前我们介绍和使用了 BERT 预训练模型和 GPT-2 预训练模型，分别进行了文本分类和文本生成次。我们将介绍 XLNet 预训练模型，并使用其进行命名实体识别次。 知识点 XLNet 在 BERT 和 GPT-2 上的改进 XLNet 模型结构 使用 XLNet 进行命名实体识别次 谷歌的团队继 BERT 模型之后，在 2019 年中旬又提出了 XLNet 模型。XLNet 在多达 20 个任务上均取得了超越 BERT 的成绩，还在如问答系统、自然语言推理、情感分析、文本排序等任...
XLNet and Beyond
03-01
XLNet and Beyond

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值