杰哥不要-BERT-WMM-全词遮罩填充

于 2021-06-21 14:36:56 发布
阅读量1k 收藏 2
点赞数 3
分类专栏： NLP小项目 文章标签： nlp 人工智能 机器学习 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GioDio/article/details/118085513
版权
本文通过使用BERT-wwm模型进行全词遮罩填充，研究在“杰哥不要”场景中AI如何填补空白。实验发现，模型对于没有前后文的字词和日常称呼预测效果不佳，而追求连贯性的文本生成则更有效。未来可能在非传统文本训练上找到新的可能性。
摘要由CSDN通过智能技术生成

杰哥不要-BERT-WMM-全词遮罩填充

完整代码

杰哥不要_BERT_WMM_遮罩填充.ipynb

前言

最近在B站杰哥区看了几百集平行宇宙剧本，也看过114514次翻译和AI续写的版本。忽然，萌生了一个想法：如果把200多句对白部分的字词遮罩，让AI去填写会有什么效果呢?。我很好奇，因此本代码主要以全词遮罩的中文预训练模型BERT-wwm去探索"杰哥不要"的可能性。

参考

HuggingFace Transformer API

中文BERT-wwm

杰哥不要啦完整台词整理

BERT模型 vs 王思聪！看一看谁的土味情话更加肉麻ÿ

最低0.47元/天 解锁文章
船医41
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
从jieba分词到BERT-wwm——中文自然语言处理（NLP）基础分享系列（1）
weixin_49518391的博客
09-06 438
从jieba分词到BERT-wwm，一步步带你进入中文NLP的世界。本期主要为书写起源、业务问题背景的介绍。
【BERT类预训练模型整理】
Wwwwwww527的博客
05-16 4499
BERT类预训练模型整理一、BERT的相关内容BERT的预训练技术1.掩码机制2.NSP（ Next Sentence Prediction）BERT模型的局限性二、RoBERT的相关内容三、SpanBERTa的相关内容四、ALBERT的相关内容五、MacBERT的相关内容 在本帖中，小阿奇将从中文预训练模型的角度去回顾最近自然语言处理领域中代表性的预训练语言模型的技术，自己也进行一个详细的整理 一、BERT的相关内容 BERT(来自transformer的双向编码器表示)(Devlin等人，2019年)在
Chinese-BERT-wwm：汉语BERT的全字掩蔽预训练（EnglishBERT-wwm系列模型）
02-03
| 在自然语言处理领域中，预训练语言模型（预训练语言模型）已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展，我们发布了基于全词遮罩（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及更多技术相关的模型：BERT-wwm-ext，RoBERTa-wwm-ext，RoBERTa-wwm-ext-large，RBT3，RBTL3。 崔一鸣，车万祥，刘婷，秦兵，杨自清，王世进，胡国平 本项目基于谷歌官方BERT： : 其他相关资源： MacBERT预训练模型： : 中文ELECTRA预训练模型： : 中文XLNet预训练模型： : 知识蒸馏工具TextBrewer： : 查看更多哈工大讯飞联合实验室（HFL）发布的资源： : 新闻 2021年1月27日所有模型已支持TensorFlow 2，请通过变压器库进行调用或下载。 2020/9/15我们的论文被录用为长文。 2020/8/27哈工大讯飞联合实验室在通用自然语言理解评论GLUE中荣登榜首，查看，。 2020/3/23本目录发布的模型已接收 ，查看 2020/3/11
全局遮罩 shade
weixin_30797199的博客
08-04 127
使用dom实现全局遮罩和局部遮罩//使用dom实现全局遮罩 <title>DOM练习</title> <script type="text/javascript"> //4,使用dom实现全局遮罩和局部遮罩 //使用dom实现全局遮罩 function shade(){ var div = do...
Python-中文全词覆盖WholeWordMaskingBERT的预训练模型
08-12
中文全词覆盖（Whole Word Masking）BERT的预训练模型
如何设计一套Objective-C技术课程体系+编程知识+技术开发
最新发布
06-13
如何设计一套Objective-C技术课程体系+编程知识+技术开发； 如何设计一套Objective-C技术课程体系+编程知识+技术开发； 如何设计一套Objective-C技术课程体系+编程知识+技术开发； 如何设计一套Objective-C技术课程...
Cortex-M3_内核HardFault错误调试定位方法
07-12
Cortex-M3_内核HardFault错误调试定位方法 Cortex-M3_内核HardFault错误调试定位方法 Cortex-M3_内核HardFault错误调试定位方法 Cortex-M3_内核HardFault错误调试定位方法
python深度学习-pandas
08-04
Python 深度学习 - Pandas Pandas 是 Python 中一个流行的数据分析库，提供了高效、灵活的数据结构和数据分析工具。下面是对 Pandas 的详细介绍： 对象的创建 Pandas 中有两种主要的数据结构：Series（一维对象）...
chemkin-import_chem.inp
11-18
chemkin-import_chem.inp
asp.net+sql人才网站设计-含系统源码
05-21
asp.net+sql人才网站设计-含系统源码asp.net+sql人才网站设计-含系统源码asp.net+sql人才网站设计-含系统源码asp.net+sql人才网站设计-含系统源码asp.net+sql人才网站设计-含系统源码asp.net+sql人才网站设计-含系统...
Python-本实验是用BERT进行中文情感分类记录了详细操作及完整程序
08-10
本实验，是用BERT进行中文情感分类，记录了详细操作及完整程序
基于python的中文BERT-wwm系列模型
03-21
基于python的中文BERT-wwm系列模型
最简单的BERT模型调用方法
zenRRan的博客
12-23 2450
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要6分钟跟随小博主，每天进步一丢丢来自：AINLP作者：段清华（金证优智技术总监）原文链接：https://zhuanlan.zhih...
BERT家族：BERT-WWM
qq_32223859的博客
05-26 3818
BERT-WWM 论文：《Pre-Training with WholeWord Masking for Chinese BERT》 论文地址：https://arxiv.org/pdf/1906.08101 作者/机构：讯飞+哈工大 年份：2019.7 BERT-WWM对Bert的改进主要体现在mask的方式上，使用全词mask。其改进点如下： 与百度ERNIE相比，BERT-WWM不仅仅是连续mask实体词和短语，而是连续mask所有能组成中文词语的字。具体做法是，针对中文，如果一个完整的词
几种预训练模型：bert-wwm,RoBERTa,RoBERTa-wwm
谁怕平生太急
12-23 8710
bert-large：24层，330M参数 bert-base：12层，110M参数 1.bert-wwm wwm即whole word masking（对全词进行mask），谷歌2019年5月31日发布，对bert的升级，主要更改了原预训练阶段的训练样本生成策略。改进：用mask标签替换一个完整的词而不是字。 2.bert-wwm-ext bert-wwm的升级版，改进：增加了训练数据集同时也增加了训练步数。 3.RoBERTa 相对于Bert的改进：更多的数据、更多的训练步数、更大的批次(8000)，用
刷新中文阅读理解水平，哈工大讯飞联合发布基于全词覆盖中文BERT预训练模型...
AI科技大本营
06-21 4480
作者 |HFL来源 |哈工大讯飞联合实验室（ID:rgznai100）为了进一步促进中文自然语言处理的研究发展，哈工大讯飞联合实验室发布基于全词覆盖（Whole Wo...
北理工校友发明文言文“填词大师”，断句、造词都能做，高考文言文满分靠它了...
开发者技术前线-DevolperFront
11-25 259
点击“开发者技术前线”，选择“星标????”让一部分开发者看到未来量子位 报道 | 公众号 QbitAI都说GPT-3能接人话，补充上下文关系，中文版的“填词大师”你见过没？不仅是中文版...
NLP 中的数据增强
夏树让的博客
11-29 2173
NLP 常用数据增强方法：同义词替换（Synonym Replacement） 、回译（Back Translation）、文本生成（Text Generation）
中文 哈工大_中文最佳，哈工大讯飞联合发布全词覆盖中文BERT预训练模型
weixin_39658716的博客
12-03 621
机器之心报道参与：一鸣昨日，机器之心报道了 CMU 全新模型 XLNet 在 20 项任务上碾压 BERT 的研究，引起了极大的关注。而在中文领域，哈工大讯飞联合实验室也于昨日发布了基于全词覆盖的中文 BERT 预训练模型，在多个中文数据集上取得了当前中文预训练模型的最佳水平，效果甚至超过了原版 BERT、ERINE 等中文预训练模型。基于 Transformers 的双向编码表示(BERT)在多...
SheetJS、js-xlsx、ExcelJS哪个好用
03-31
作为AI语言模型，我没有个人偏好，但以下是这些库的特点和用途，供您参考： SheetJS和js-xlsx是两个非常相似的JavaScript库，用于解析和生成Microsoft Excel文件。它们都具有高度的可定制性和适应性，并且可以非常...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值