[nlp] CopyNet&PGN网络&模型优化改进等

最新推荐文章于 2024-06-22 09:48:11 发布
最新推荐文章于 2024-06-22 09:48:11 发布
阅读量563 收藏 3
点赞数
分类专栏： nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/103581501
版权
本文探讨了自然语言处理中CopyNet和PGN模型的优化，包括Encoder和Decoder的改进，如使用Hierarchical Attention。针对序列模型的计算效率问题，提出使用CNN。在训练策略上，介绍了Cross-Entropy Training和Scheduled Sampling。同时，文章深入讲解了Beam Search的改进，如Maximun Mutual Information和Diverse Beam Search，以解决输出重复和多样性问题。
摘要由CSDN通过智能技术生成

动图：http://dbs.cloudcv.org/captioning

在这里插入图片描述

  1. Generate-Mode
    根据语义进行输出（Seq2Seq）
  2. Copy-Mode
    根据文本位置copy，拿出encoder出现过的词（copy-model）
    adv : 复制了一些输入词，解决了一些OOV的问题

在这里插入图片描述
bp ：是偏置向量
激活函数sigmoid : 取值范围 (0,1)。转换成概率。
xt ：是decoder的预测下一词的输入，比如beat
（1-Pgen）把encoder的输入词，出现的OOV词(未登录词)，加入进来。
在这里插入图片描述

了解本专栏 订阅专栏 解锁全文 超级会员免费看
[nlp] seq2seq模型优化，coverage&point-generator-networks
心宝的博客
12-16 370
典型的Seq2Seq
Pointer-Generator networks（PGN）模型: 生成式语言模型,通过指针网络实现了序列到序列的转换，并结合了语言模型和生成器网络的优点，提升了生成质量
AI天才研究院
07-28 1225
本文将介绍Pointer-Generator networks（PGN）模型，这是一种生成式语言模型，通过指针网络实现了序列到序列的转换，并结合了语言模型和生成器网络的优点，提升了生成质量。本文基于论文进行详细阐述，对其中的一些机制进行了重新解释和说明，方便读者理解PGN模型。PGN模型是一种新的模型，它同时利用了传统的机器翻译任务中的强大的语言建模能力和RNN结构中的长时记忆特性。相比于传统的seq2seq模型，PGN模型增加了一个指针网络，用来帮助生成模型选择输出语句的上下文。
NLP基础（五）：CopyNet和PGN模型
lygeneral的博客
07-06 1600
1.
NLP预训练模型5 -- 模型结构优化（XLNet、ALBERT、ELECTRA）
anshiquanshu的专栏
07-21 1279
1 背景 上文我们从预训练任务优化（NLP预训练模型3 – 预训练任务优化（ERNIE、SpanBERT））和训练方法优化（NLP预训练模型4 – 训练方法优化（RoBERTa、T5））两个角度，分析了如何提升BERT和NLP预训练模型的performance。本文我们从模型结构优化的角度来进行深入分析。 模型结构优化一直以来都是比较fancy的工作，优秀的模型结构设计，可以大大提高模型参数的效率，甚至小模型效果可以超过大模型。本文我们以XLNet、ALBERT、ELECTRA为例进行分析。虽然他们也可以
CopyNet
xvshiting的专栏
08-30 5134
CopyNet 个人理解 之前了解过seq2seq模型，最近因为一些原因想要深入了解下copyNet 和 pointNet 。我首先读了 《Incorporating Copying Mechanism in Sequence-to-Sequence Learning 》这篇比较经典的论文，接下来就简单介绍一下论文中模型的结构以及自己的一些理解。 简单来说，copyNet 还是属于se...
自然语言处理&transformer&NLP&yolo等技术应用资源
01-04
自然语言处理(NLP)和计算机视觉技术(Vision)是当今人工智能行业最受关注和投资的两个领域，这两个领域在很大程度上改变了人们的生活方式和商业运营模式。本文将重点介绍NLP技术中的Transformer模型和计算机视觉技术...
基于matlab自然语言处理&transformer&NLP&yolo等.m
最新发布
06-23
生产调度、经济调度、装配线调度、充电优化、车间调度、发车优化、水库调度、三维装箱、物流选址、货位优化、公交排班优化、充电桩布局优化、车间布局优化、集装箱船配载优化、水泵组合优化、解医疗资源分配优化、...
自然语言处理&transformer&NLP&yolo等技术应用资源.pdf
01-25
自然语言处理（NLP）是计算机科学领域的一个分支，它涉及如何使计算机理解、生成和处理人类语言。在NLP中，我们利用各种算法和技术来处理文本数据，使其可被机器理解和利用。以下是一些关键的NLP工具和技术： 1. ...
探索语言复制机制：CopyNet 模型在序列到序列学习中的应用
gitblog_00071的博客
06-11 335
探索语言复制机制：CopyNet 模型在序列到序列学习中的应用 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 CopyNet 是一个基于 PyTorch 实现的深度学习模型，由 Minje Choi 提出，它专注于解决序列到序列（Seq2Seq）学习中的一个重要问题——复制。在人类语言交流中，我们经常看到某些输入序列片段被选择性地复制到输出序列中，例如重复实体名称或长...
PGN详解
qq_41979960的博客
01-19 6095
pgn-summarization:指针生成器NN的实现
04-29
Pytorch指针生成器递归NN 模型 它是“模型进行的实现。 要求 python3 pytorch4 张量板 用法 准备 为了进行训练，有必要准备数据集的train.tsv和validation.tsv部分，并将其存储在公共文件夹中。 文档的每一行都有两部分：源和目标，由tab符分隔。 表格文件不需要标题。 训练 用于火车模型 $ python main.py 参数 可以使用--help参数获取参数的完整列表。 这是最重要的参数列表： --proceed继续学习最新模型 --dataset数据集的目录 --vocab_size词汇量，数据集中最常用单词的数量 --epochs纪元数 --hidden_size内部层的隐藏大小 --logdir日志目录 --model_name此名称用于保存学习检查点 训练停止时，模型状态将保存到--model_name文件。 如果--proce
NLP自然语言处理系列- week6-文本生成案例（4）（PGN模型代码）
段智华的博客
11-26 865
NLP自然语言处理系列- week6-文本生成案例（4）（PGN模型代码） PGN架构图 PGN代码 #!/usr/bin/env python # -*- coding: utf-8 -*- import os import sys import pathlib import torch import torch.nn as nn import torch.nn.functional as F abs_path = pathlib.Path(__file__).parent.absolut
seq2seq结构的问题以及PGN网络模型
h2728677716的博客
05-12 618
问题1： 从模型的路径上看，encoder到实际输出有一定距离，从此限制了反向传播。 如果encoder decoder的seq2seq链很长，这个模型计算的attention值传到最后会越来越少，导致编码解码效果很差。（encoder信息消失的比较严重） 问题2： 摘要总结的结果有可能因为OOV的问题导致不准去。 （OOV：词表未登录词， 一般我们生成的未登录词会使用UNK表示） 问题3： 摘要结果会出现repeat重复的信息，比如重复出现德国队击败阿根廷队。 PGN指针生成网络 针
基于BERT-PGN模型的中文新闻文本自动摘要生成
zjj1910066023的博客
03-08 6440
论文创新点 1.将BERT与指针生成网络（PGN）相结合，提出了一种面向中文新闻文本的生成式摘要模型，实现快速阅读； 2. 结合多维语义特征的BERT-PGN模型对摘要原文的理解更加充分，生成的摘要内容更加丰富，全面且有效地减少重复、冗余内容的生成； 概念及模型 首先利用预训练语言模型 BERT 获取新闻文章的词向量，同时利用多维语义特征对新闻中的句子进行打分，将二者进行简单拼接生成输入序列；然后将得到的输入序列输入到指针生成网络模型中，使用coverage机制减少生成重复文字，同时保留生成新文字的能
Eris 项目使用教程
gitblog_00045的博客
06-22 806
Eris 项目使用教程 Eris MVVM-C based iOS-Architecture Reference 项目地址: https://gitcode.com/gh_mirrors/eris2/Eris ...
NLP自然语言处理系列- week6-文本生成案例（5）（PGN+Beam Search）
段智华的博客
12-01 603
NLP自然语言处理系列- week6-文本生成案例（5）（PGN+Beam Search） PGN 模型 Beam Search 在计算机科学中，Beam Search是一种启发式搜索算法，通过在有限集合中扩展最有希望的节点来探索图。Beam Search是一种优化的最佳优先搜索，它减少了内存需求。最佳优先搜索是一种图搜索，它根据某种启发式对所有部分解(状态)排序。而在Beam Search中，只保留一定数量的最优部分解作为候选解。 https://opennmt.net/OpenNMT/translat
基于BERT-PGN模型的中文新闻文本自动摘要生成——文本摘要生成（论文研读）
世上再无张显宗
03-06 4392
学习记录
论文阅读：CopyNet
热门推荐
张小彬的专栏
08-03 1万+
论文《Incorporating Copying Mechanism in Sequence-to-Sequence Learning》 CopyNet 是在 Seq2Seq + Attention 的基础上，引入了拷贝机制，对某些任务会有所擅长。模型结构如下图 实现上有关键两点（即图中右边的上下两个矩形框）， Prediction with Copying and Generati...
工大SCIR | 文本摘要简述
zenRRan的博客
03-26 1229
作者：哈工大SCIR博士生冯夏冲来自：哈工大SCIR1. 简介随着互联网产生的文本数据越来越多，文本信息过载问题日益严重，对各类文本进行一个“降 维”处理显得非常必要，文本摘要便是其中一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>