哈工大：Chinese-BERT-wwm

已于 2023-07-27 22:11:20 修改
阅读量2.7k 收藏 8
点赞数
分类专栏： # Bert系列 文章标签： bert 人工智能 深度学习
于 2022-09-26 19:52:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/127059670
版权
本文介绍了一种基于全词掩码技术的中文预训练语言模型BERT-wwm及多个相关变种模型。这些模型针对中文信息处理进行了优化，并已在IEEE/ACM Transaction on Audio, Speech, and Language Processing发表。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在自然语言处理领域中，预训练语言模型（Pre-trained Language Models）已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展，我们发布了基于全词掩码（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及与此技术密切相关的模型：BERT-wwm-ext，RoBERTa-wwm-ext，RoBERTa-wwm-ext-large, RBT3, RBTL3等。

GitHub - ymcui/Chinese-BERT-wwm: Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型）

【大模型+知识图谱】哈工大版chinese-roberta-wwm-ext模型介绍、下载部署和GPU显卡配置
知识靠谱的博客
01-06 538
RoBERTa模型的一个重要改进版本，由阿里云的研究团队提出。而Chinese RoBERTa-wwm-ext则是针对中文文本的预训练模型，它在哈工大的研究团队手中进一步优化，特别适用于中文自然语言处理任务。
哈工大中文信息处理_哈工大讯飞联合实验室发布基于全词覆盖的中文BERT预训练模型...
weixin_39603995的博客
12-15 525
为了进一步促进中文自然语言处理的研究发展，哈工大讯飞联合实验室发布基于全词覆盖(Whole Word Masking)的中文BERT预训练模型。我们在多个中文数据集上得到了较好的结果，覆盖了句子级到篇章级任务。同时，我们对现有的中文预训练模型进行了对比，并且给出了若干使用建议。我们欢迎大家下载试用。下载地址：https://github.com/ymcui/Chinese-BERT-ww...
Chinese-BERT-wwm：汉语BERT的全字掩蔽预训练（EnglishBERT-wwm系列模型）
02-03
| 在自然语言处理领域中，预训练语言模型（预训练语言模型）已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展，我们发布了基于全词遮罩（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及更多技术相关的模型：BERT-wwm-ext，RoBERTa-wwm-ext，RoBERTa-wwm-ext-large，RBT3，RBTL3。 崔一鸣，车万祥，刘婷，秦兵，杨自清，王世进，胡国平 本项目基于谷歌官方BERT： : 其他相关资源： MacBERT预训练模型： : 中文ELECTRA预训练模型： : 中文XLNet预训练模型： : 知识蒸馏工具TextBrewer： : 查看更多哈工大讯飞联合实验室（HFL）发布的资源： : 新闻 2021年1月27日所有模型已支持TensorFlow 2，请通过变压器库进行调用或下载。 2020/9/15我们的论文被录用为长文。 2020/8/27哈工大讯飞联合实验室在通用自然语言理解评论GLUE中荣登榜首，查看，。 2020/3/23本目录发布的模型已接收 ，查看 2020/3/11
微调BERT模型实现文本分类
最新发布
大模型研究中心
02-27 1604
模型微调只是针对某种下游任务，针对性的强化模型的能力，但是微调之后的模型在泛化能力上有所下降。
chinese-bert-wwm-ext.rar
02-07
哈工大版本，for pytorch
探秘Chinese-BERT-wwm: 深度学习中的中文语义理解利器
gitblog_00006的博客
03-20 1697
探秘Chinese-BERT-wwm: 深度学习中的中文语义理解利器 项目地址:https://gitcode.com/gh_mirrors/ch/Chinese-BERT-wwm 项目简介 Chinese-BERT-wwm 是一个基于预训练模型BERT的中文版本，由开发者ymcui贡献并托管在GitCode平台上。此项目主要关注中文文本的理解与处理，特别是在全词覆盖（Whole Word Mas...
中文BERT-wwm项目使用教程
gitblog_00034的博客
08-08 879
中文BERT-wwm项目使用教程 项目地址:https://gitcode.com/gh_mirrors/ch/Chinese-BERT-wwm 1. 项目的目录结构及介绍 Chinese-BERT-wwm/ ├── README.md ├── bert_config.json ├── bert_model.ckpt.data-00000-of-00001 ├── bert_model.ckpt....
中文指代消解：基于HFL的预训练模型chinese-roberta-wwm-ext，训练评测CLUE WSC2020数据集
01-07
预训练模型在近年来已经成为解决这个问题的有效工具，其中`chinese-roberta-wwm-ext`是一款专门针对中文的预训练模型，基于HFL（哈工大飞桨）框架构建，它在广泛词汇遮蔽（Whole Word Masking，WWM）策略上进行了...
chinese-roberta-wwm-ext.rar
02-07
《哈工大版Chinese RoBERTa-wwm-ext模型在PyTorch中的应用与解析》 RoBERTa（Robustly Optimized BERT Pretraining Approach）是BERT（Bidirectional Encoder Representations from Transformers）模型的一个重要...
chinese-bert-wwm-ext
rehe_nofish的博客
05-31 3406
from transformers import BertTokenizer, BertModel import torch tokenizer = BertTokenizer.from_pretrained("hfl/chinese-bert-wwm-ext") model = BertModel.from_pretrained("hfl/chinese-bert-wwm-ext") batch_sentence = [ "这是第一句话", "这是第二句话", "第三句，有点长
中文 哈工大_中文最佳，哈工大讯飞联合发布全词覆盖中文BERT预训练模型
weixin_39658716的博客
12-03 697
机器之心报道参与：一鸣昨日，机器之心报道了 CMU 全新模型 XLNet 在 20 项任务上碾压 BERT 的研究，引起了极大的关注。而在中文领域，哈工大讯飞联合实验室也于昨日发布了基于全词覆盖的中文 BERT 预训练模型，在多个中文数据集上取得了当前中文预训练模型的最佳水平，效果甚至超过了原版 BERT、ERINE 等中文预训练模型。基于 Transformers 的双向编码表示(BERT)在多...
bert_chinese_pytorch:伯特中文文本分类
05-10
bert_chinese_pytorch 参考代码： CSDN博文（施工中）：
bert-base-chinese.rar
11-10
pytorch实现的中文bert预训练模型bert-base-chinese，可用于中文短文本分类，问答系统等各种NLP任务（网盘链接）
chinese_wwm_ext_pytorch.zip
01-26
该资源搬运自https://github.com/ymcui/Chinese-BERT-wwm#%E4%B8%AD%E6%96%87%E6%A8%A1%E5%9E%8B%E4%B8%8B%E8%BD%BD 因为Github下载速度较慢，于是搬运到CSDN供大家使用，如果侵权，请及时告知删除。
中文BERT模型学习
宋海宾的博客
12-28 330
1. 开源中国 基于Google BERT训练中文全词Mask， 源数据5.4B，Google源数据才0.4B https://www.oschina.net/p/chinese-bert 2.Bert入门介绍 https://blog.csdn.net/hwblittlebird/article/details/106138305
【论文泛读148】ChineseBERT：通过字形和拼音信息增强的中文预训练
scu-liu的博客
07-01 1747
贴一下汇总贴：论文阅读记录 论文链接：《ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information》 一、摘要 最近的中文预训练模型忽略了中文特有的两个重要方面：字形和拼音，它们为语言理解携带重要的句法和语义信息。在这项工作中，我们提出了 ChineseBERT，它将汉字的 {\it glyph} 和 {\it pinyin} 信息合并到语言模型预训练中。字形嵌入是基于汉字的不同字体获得的，能够从视觉特征中捕捉字符语义，
中文BERT-wwm预训练模型教程
gitblog_00571的博客
08-08 613
中文BERT-wwm预训练模型教程 Chinese-BERT-wwmPre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型）项目地址:https://gitcode.com/gh_mirrors/ch/Chinese-BERT-wwm 1. 项目介绍 Chinese-BERT-wwm是由Yiming Cui等人开发...
中文 哈工大_哈工大讯飞联合实验室发布中文BERTwwmext预训练模型
weixin_39763033的博客
12-24 1017
哈工大讯飞联合实验室(HFL)发布在更大规模语料上训练的基于全词Mask的中文预训练模型BERT-wwm-ext。该模型在多项基准测试上获得了进一步性能提升。我们欢迎各界同行下载使用。下载地址：https://github.com/ymcui/Chinese-BERT-wwm摘要哈工大讯飞联合实验室在2019年6月20日发布了基于全词Mask的中文预训练模型BERT-wwm，受到业界广泛...
ChineseBERT Chinese Pretraining Enhanced by Glyph and Pinyin Information
yingzi的技术博客
10-06 1664
最近预训练的模型关于中文的忽视了两个重要因素：字形和拼音。它们在语言理解上携带了重要的语法和语义信息。在本文的工作中，我们提出了ChineseBERT，结合汉字的字形和拼音信息。- 字形嵌入是基于不同字体，能够从视觉特征捕获字符语义- 拼音嵌入字符对汉字的发音进行了处理，处理了汉语中常见的同字异义现象（不同发音代表不同含义）
哈工大版本chinese-bert-wwm-ext模型下载
资源摘要信息:"哈工大版本的chinese-bert-wwm-ext是专门为pytorch框架优化设计的中文预训练语言模型，它主要针对中文语境进行了优化，采用了Whole Word Masking (wwm)策略，能够更有效地进行中文NLP任务处理。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值