bert做文本摘要_BERT-WWM

最新推荐文章于 2022-07-26 12:05:07 发布
最新推荐文章于 2022-07-26 12:05:07 发布
阅读量1.4k 收藏 3
点赞数
文章标签： bert做文本摘要
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_35916106/article/details/112150774
版权

acc946b749d85e0e876366a8a23ece51.png

New May 31st, 2019: Whole Word Masking Models （google-research）https://github.com/google-research/bert

Whole Word Masking (wwm)是谷歌在2019年5月31日发布的一项BERT的升级版本，主要更改了原预训练阶段的训练样本生成策略。

简单来说，原有基于WordPiece的分词方式会把一个完整的词切分成若干个子词，在生成训练样本时，这些被分开的子词会随机被mask。 在Whole Word Masking (wwm)中，如果一个完整的词的部分WordPiece子词被mask，则同属该词的其他部分也会被mask。

309d61b9d6cf1cf7d0a1acfa0e066c77.png

（ 需要注意的是，这里的mask指的是广义的mask（替换成[MASK]；保持原词汇；随机替换成另外一个词），并非只局限于单词替换成[MASK]标签的情况。）

中文BERT-WWM

2019年哈工大和科大讯飞联合发表中文BERT-WWM模型的论文。

论文链接：https://arxiv.org/pdf/1906.08101.pdf

f8cc47b30c6f2633cb0c738d6b0e12a8.png

ca3205e30c8b3ff88fb2b9d2fe23a799.png

“ 最近，BERT 的作者发布了 BERT 的更新版本，称为全

最低0.47元/天 解锁文章
sunhanwu
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Bert基础(二十一)--Bert实战：文本摘要
Andy_shenzl的博客
04-30 1348
文本摘要（Text Summarization），作为自然语言处理（NLP）领域的一个分支，其核心目标是从长篇文档中提取关键信息，并生成简短的摘要，以提供对原始内容的高度概括。这一过程不仅有助于用户迅速把握信息的核心，而且对于有效组织和归纳大量的文本数据至关重要。文本摘要的任务可以根据不同的输入和输出进行分类。首先，根据输入文档的数量，可以将摘要任务分为单文档摘要和多文档摘要。单文档摘要专注于处理单个文档，而多文档摘要则需要整合多个相关文档的信息。
从jieba分词到BERT-wwm——中文自然语言处理（NLP）基础分享系列（12）
weixin_49518391的博客
09-22 2678
今天是本系列的最后一期，完整代码呈现Huggingface transformers平台上微调BERT-wwm-ext的过程方法。
ACL2020 | SongNet(格式可控的文本生成)
ljp1919的专栏
12-31 1301
背景 题目： Rigid Formats Controlled Text Generation 机构： Tencent AI Lab 作者： Piji Li、Haisong Zhang、Xiaojiang Liu、Shuming Shi 论文地址： https://arxiv.org/abs/2004.08022 收录会议： ACL 2020 论文代码： https://github.com/lipiji/SongNet 摘要 基于神经网络的文本生成在各种任务中取得了巨大的进展。这些文本生成任务如对话生成、
transformers 使用bert中文模型
junior_programmer的博客
05-23 9490
pytorch 下载 gpu版 pip install torch===1.5.0 torchvision===0.6.0 -f https://download.pytorch.org/whl/torch_stable.html cpu版 pip install torch==1.5.0+cpu torchvision==0.6.0+cpu -f https://download.pytorch.org/whl/torch_stable.html 中文bert-wwm 模型 下载 中文bert-w
Bert的缓存问题
01-20
在使用Bert做UNILM的摘要任务时，出现了一个非常奇怪的问题，之前用小数据集跑出来效果还不错，于是修改了一些训练参数（学习率，warmup等），换了一个大数据集来跑，效果很差，所以又把所有参数回滚了，并且重新换上小数据集，这时候却发现效果同样变得非常差。 尝试过重写解码部分、用modeling_bert.py中的模型链接重新下载一个模型，并在微调时使用这个新的模型训练、删除所有保存过的权重，都不行，最后怀疑bert是否存在这种缓存问题，上谷歌一查，还真有人跟我遇到相同问题，于是删除了位于**~/.cache/torch/transformers**下的所有文件，重新训练，问题（莫名其妙地）
基于BERT-PGN模型的中文新闻文本自动摘要生成
zjj1910066023的博客
03-08 6250
论文创新点 1.将BERT与指针生成网络（PGN）相结合，提出了一种面向中文新闻文本的生成式摘要模型，实现快速阅读； 2. 结合多维语义特征的BERT-PGN模型对摘要原文的理解更加充分，生成的摘要内容更加丰富，全面且有效地减少重复、冗余内容的生成； 概念及模型 首先利用预训练语言模型 BERT 获取新闻文章的词向量，同时利用多维语义特征对新闻中的句子进行打分，将二者进行简单拼接生成输入序列；然后将得到的输入序列输入到指针生成网络模型中，使用coverage机制减少生成重复文字，同时保留生成新文字的能
chinese-bert-wwm-L-12-H-768-A-12
最新发布
03-24
chinese_bert_wwm_L-12_H-768_A-12 是基于BERT（Bidirectional Encoder Representations from Transformers）模型的一个预训练模型，特别适用于中文自然语言处理任务。在这个模型中，“wwm”表示“Whole Word ...
chinese_wwm_ext_L-12_H-768_A-12.zip
09-23
这个模型是在BERT（Bidirectional Encoder Representations from Transformers）的基础上进行扩展和优化的，特别是针对中文文本进行了全词覆盖（Whole Word Masking, WWM）的训练。接下来，我们将详细探讨这个模型的...
chinese-bert-wwm-ext.rar
02-07
《哈工大版Chinese-BERT-wwm-ext for PyTorch深度解析》 在自然语言处理（NLP）领域，预训练模型已经成为基石，而BERT（Bidirectional Encoder Representations from Transformers）模型更是其中的明星。本文将深入...
chinese_L-12_H-768_A-12.zip
01-13
7. **标签**: "nlp chinese_L-12_H-768_A-12" 的标签进一步强调了这是中文NLP的资源，很可能是一个针对中文文本的预训练BERT模型，具有12个层、768维隐藏状态和12个注意力头。 8. **压缩包子文件的文件名称列表**：...
Bert-abstractive-text-summarization
05-02
使用BERT的抽象文本摘要 这是使用BERT（参考）进行NLP（自然语言处理）任务之一，抽象文本摘要的模型。 要求 Python 3.6.5以上 火炬0.4.1+ 张量流 大熊猫 tqdm 脾气暴躁的 麦卡布 Tensorboard X和其他... 此处使用的所有软件包都可以通过pip安装，如下所示： pip install -r requirement.txt 码头工人 如果您使用GPU训练模型，则可以在DockerHub中轻松使用。 在这项研究中，使用了pytorch / pytorch：0.4.1-cuda9-cudnn7-devel（2.62GB）。 使用之前 使用此功能时，请按照以下步骤操作。 在根目录下创建一个名为“ / data / checkpoint”的存储库。 并为bert放入bert_model，词汇表文件和配置文件。 这些文件可以在下载。 将数据文件进
BERT（三）——BERT 改进
12-25 984
先都列出来，有时间再详细整理 BERT-Base BERT-Large BERT-wwm SpanBert SpanBert：对 Bert 预训练的一次深度探索 DistillBERT XLNET 飞跃芝麻街：XLNet 详解 ①AR AE方式结合，通过随机取一句话排列的一种，然后将末尾一定量的词给“遮掩”（和 BERT 里的直接替换 “[MASK]” 有些不同）掉，最后用 AR 的方式来按照这种排列方式依此预测被“遮掩”掉的词。 ②在 BERT 这样的位置信息+内容信.
文本摘要综述-bertsum、BottleSum、TextRANk
古月哲亭
08-18 1794
BottleSum——文本摘要论文系列解读/：https://zhuanlan.zhihu.com/p/84730122 主题关键词信息融合的中文生成式自动摘要研究：http://www.aas.net.cn/fileZDHXB/journal/article/zdhxb/2019/3/PDF/zdhxb-45-3-530.pdf Code for paper Fine-tune BERT for 抽取式文本摘要：https://github.com/nlpyang/BertSum 【ACL2019】文本摘
Bert论文浅析
how many roads a model must walk down, before they call him a service
01-05 3466
本博文默认你对：Word2Vec / ELMo / transformer / OpenAI GPT 有一定了解 bert是Google于今年10月提出的模型，该模型打破了多项NLP的记录，甚是牛逼。 先导知识介绍 part1 对图像领域有些了解的同学，肯定经常能看见，这个网络那个网络，动不动拿ImageNet预训练，然后自己特定的任务就在预训练好的模型中进行微调fine-tuning。为什么可以...
文章摘要智能提取【基于BERT技术】
神经网络爱好者
07-26 1474
消息摘要”（MessageDigest）是一种能产生特殊输出格式的算法，这种加密算法的特点是无论用户输入什么长度的原始数据，经过计算后输出的密文都是固定长度的，这种算法的原理是根据一定的运算规则对原数据进行某种形式的提取，这种提取就是“摘要”，被“摘要”的数据内容与原数据有密切联系，只要原数据稍有改变，输出的“摘要”便完全不同，因此基于这种原理的算法便能对数据完整性提供较为健全的保障。摘要应该是论文内容的梗概或者作者观点的提炼。能够让人通过看你的摘要知道你的论文都写了什么。。。。/***...
创新实训(11)-生成式文本摘要之BertAbs
ttxs69的博客
07-01 1768
创新实训(11)-生成式文本摘要之BertAbs 1.简介 这是一个EMNLP2019的paper Text Summarization with Pretrained Encoders 的学习记录 2.模型介绍 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kITDC9i6-1593584621882)(https://s1.ax1x.com/2020/07/01/NoqRdH.png)] 左边的是原始的Bert模型，右边的是用于文本摘要的Bert模型。 主要的区别是在最上
新手探索NLP（九）——文本摘要
八门金锁的技术博客
05-28 1万+
转载自知乎https://zhuanlan.zhihu.com/p/67078700 文本摘要是一种从一个或多个信息源中抽取关键信息的方法，它帮助用户节省了大量时间，用户可以从摘要获取到文本的所有关键信息点而无需阅读整个文档。 文本摘要按照输入类型可分为单文档摘要和多文档摘要。单文档摘要方法是指针对单个文档，对其内容进行抽取总结生成摘要；多文档摘要方法是指从包含多份文档的文档集合中生成一...
bert中文分类实例win10
大漠帝国的博客
01-10 5511
bert分类实例,在本地win10下 我的bert分类项目地址(有数据，本地win10可运行):https://github.com/yongzhuo/bert，但是预测调用好像不方便， 我另外一个项目bert分类实例，可predict，很方便:https://github.com/yongzhuo/nlp_xiaojiang/tree/master/ClassificationText/be...
NLP之BERT中文文本分类超详细教程
热门推荐
小小码农
04-24 5万+
bert模型是Google在2018年10月发布的语言表示模型，Bert在NLP领域横扫了11项任务的最优结果，可以说是现今最近NLP中最重要的突破。Bert模型的全称是Bidirectional Encoder Representations from Transformers，是通过训练Masked Language Model和预测下一句任务得到的模型。关于Bert具体训练的细节和更多的原...
bert_chinese_L-12_H-768_A-12从那个网站下载
04-29
您可以从以下两个网站中的任何一个下载bert_chinese_L-12_H-768_A-12模型： 1. Google官方BERT模型：...2. 哈工大讯飞联合实验室发布的中文BERT模型：https://github.com/ymcui/Chinese-BERT-wwm

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值