NeuralTemplateGen-代码功能梳理

最新推荐文章于 2023-06-05 21:58:26 发布
最新推荐文章于 2023-06-05 21:58:26 发布
阅读量837 收藏 1
点赞数 1
分类专栏： 学习笔记 NLG
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012328476/article/details/103820529
版权

文章目录

先说一下这个模型是干嘛的~

简介

基于Encoder-Decoder方式的文本生成模型已成为NLG的主流，但是它存在诸如 （1）不可解释、（2）很难进行讲点或内容的选择这些缺点。

本文主要是对decoder进行了改进，使用隐半马尔科夫HSMM模型作为解码器，这种模型可以学习得到模板，这些模板是可控的而且也具有解释性。

该模型可以自动完成 讲点选择及排序、文本模板生成、模板槽位填充 几个过程，最终得到一句完整的话。

从四个方面来介绍代码的功能。

一、数据及数据准备

1.1 开源数据集E2E

E2E是一个最大的餐饮领域的开源数据集。常用用于NM。就是一个连词成句的过程。

  • mr: （textual meaning representation）就是“词”，类似属性名及属性值
  • ref:生成的可阅读的句子

一个mr的例子

name[The Vaults], 
eatType[pub], 
priceRange[more than £30], 
customer rating[5 out of 5], 
near[Café Adriatic]

对应生成的句子

Near Café Adriatic is a five star rated, high priced pub called The Vaults.
The Vaults is a 5 stars pub with middle prices in Café Adriatic.
The Vaults Pub is close to Café Adriatic, it is five star rated and it has high prices
The Vaults is near Café Adriatic, it's a pub that ranges more than 30 and customers rate it 5 out of 5.
The Vaults is a five star, expensive public house situated close to Café Adriatic
There is an expe
最低0.47元/天 解锁文章
夏殇0808
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
功能需求梳理模板
09-19
这是一份功能需求模板。做开发时候经常要写功能需求分析
NeuralTemplateGen-模板抽取
听了个听儿
01-03 254
模型训练好之后，可以利用模型计算训练数据的维特比分隔，得到抽取后的模板 命令如下 python chsmm.py \ -data data/labee2e/ \ -emb_size 300 \ -hid_size 300 \ -layers 1 \ -K 55 \ -L 4 \ -log_interval 200 \ -thresh 9 \ -emb_drop \ # tru...
功能点需求模板
11-26
注意如果使用工具，Jira和TFS都有三层需求结构，分别对应Word目录中的： 一级目录：项目名称 二级目录：Jira-Theme，TFS-Epic 三级目录：Jira-Epic，TFS-Feature 四级目录：Jira-Story，TFS-Story。 注意Jira和TFS都不约而同地采用了三级目录，但是都没有提到如何划分和获取三级目录，以及三级目录的实际物理含义（比如在软件中到底是个页面，还是个表，还是个Controller……）。而本方法可以让需求直接与软件对应起来。
gen-form-template:测试版
03-20
让test = initTemplate（{name：“ test123”}，[template.container（[[template.textFieldCustom（{id：“ test”，name：“ test”}）），template.textFieldCustom（{id：“ test”，名称：“ test”}）]， ]) ]） initTemplate（{name：ชื่อฟอร์ม}，[template.container（[[template ....]]）] ) initTemplate //容器V的模板template.container //容器V的容器...模板其他//容器的容器
代码重构梳理－实践篇（中）
时光清浅 愿心安的博客
02-26 485
第三步：提高代码的复用率 第四步：发现程序的可扩展点 第五步：降低程序的依赖度 第六步：分层
软著代码整理小工具,内附使用说明
06-27
1.进入bin\Release,双击SourceConvert.exe打开软件 2.在源码所在目录文本框中粘贴你想导出的文件夹地址,可以是父文件夹 3.设置行数,默认8000行 4.点击处理源代码 5.复制下面文本框中出现的代码文件,粘贴到文档中即可.粘贴时最好是右键-粘贴选项选择只保留文本,这样每页是55行.满足需要.
E2E NLG Challenge: Neural Models vs. Templates 论文笔记（附模型代码）
weixin_41089007的博客
07-03 1755
原文链接：http://www.macs.hw.ac.uk/InteractionLab/E2E/final_papers/E2E-UKP_TUDA.pdf Abstract E2E NLG Challenge是一项共享任务，用于根据键值对生成餐馆描述。 本文描述了我们参与挑战的结果。 我们开发了一种简单而有效的神经编码器 - 解码器模型，可以产生流畅的餐厅描述并且优于强大的基线。 我们进一步...
用1k行Python上手序列到序列生成 | E2E自然语言生成
最新发布
qq_59109986的博客
06-05 464
E2E数据集是由jnovikovaj.novikovajnovikova等人与2017年发表的一个用于在餐饮领域训练端到端、数据驱动的自然语言生成系统的数据集。E2E数据集含有50502条数据示例，并按照$ 76.5:8.5:15 $的比例划分训练集、验证集和测试集。数据集中含有两个部分：意义表示（Meaning Representation）MRMRMR和 自然语言参考文本（human reference text） NL Reference 或 ref
E2Echallenge参赛模型汇总
听了个听儿
08-21 1049
E2E挑战赛任务就是根据一堆属性生成一句自然话术。该任务使用了新的E2E数据集，有提交的62个模型（方法），所以本文对相关的方法进行了归总，每类方法选出了一些代表，并进行简单介绍。
pytorch-e2e-dataset:E2E数据集，打包为PyTorch数据集子类
05-02
PyTorch E2E数据集 该，包装作为PyTorch 子类。 入门 E2E类将自动下载并处理数据集，将CSV文件转换为[MR，REF]匹配项列表，并按MR长度递增的顺序进行排序。 每个字符串都表示为所选Vocabulary类的键（索引）的列表： Vocabulary对象可以将列表转换为字符串，反之亦然。 您将在lang.py中找到一个基于单词和基于字符的词汇表类，以及一个可以扩展以创建自己的实现的抽象类。 实例化E2E对象后，只需将其用作普通的PyTorch DataSet 。 如果要利用 ，请记住可以使用E2EDataLoader类，该类包装了一个方便的整理函数。 它返回的每个批次都是一个包含的元组 一个元组，包含填充的MR张量，大小为[batch_size, max_mr_len] ，以及每个MR的batch_size长度列表； 张量大小[batch_size, max_re
Bert用在seq2seq任务上——UNILM实战
Tuka2000的博客
08-24 3535
文章目录1.UNILM简介2.实战2.0 租服务器2.0.1 基础配置2.0.2 网络和安全组2.0.3 系统配置2.0.4 服务器的状态2.0.5 查看账单2.1 环境配置2.1.0 登录服务器2.1.1 安装torch2.1.2 配置 UNILM 要求的包2.2 训练2.3 验证3.结语 1.UNILM简介 按照我粗浅的理解： 传统的seq2seq模型需要用一个encoder把输入的语料处理成向量,一个decoder把向量转换为词表里的词，生成目标语句。 Bert是一个预训练好的语言模型，有三层
A Deep Ensemble Model with Slot Alignment for Sequence-to-Sequence Natural Language Generation 论文笔记
weixin_41089007的博客
05-29 684
A Deep Ensemble Model with Slot Alignment for Sequence-to-Sequence Natural Language Generation <<具有槽对齐的深集合模型用于序列到序列的自然语言生成>>论文阅读 摘要 自然语言生成是生成对话系统和会话代理的核心。 我们描述了一个集成的神经语言生成器，并提出了几种新的数据表示...
Data2Text文本生成演化之路
weixin_41089007的博客
09-20 5001
最近看了很多这方面的论文，尝试做个总结。 早期发展路线 早期的文本生成系统多是基于规则的，Reiter等对规则系统进行了归纳总结【1】，认为文本生成系统可以分为三个较为独立的模块：（1）内容规划（Content planning），即选择描述哪些数据记录或数据域；（2）句子规划（Sentence planning），即决定所选择的数据记录或数据域在句子中的顺序；（3）句子实现（Surface ...
mask rcnn训练自己数据集整理出经验
a8491087的博客
01-02 5199
参考了 官方版Mask-Rcnn（Detectron-caffe2）训练自己的数据集 https://blog.csdn.net/u014525760/article/details/79931485   首先要解决的是要爬很多图片，我有两个python脚本可以分别从百度和淘宝上爬某一类图片。要的私信或邮箱。 第二，一定要用labelme这个标注工具，因为他转化成coco数据集可以被de...
Findings of the E2E NLG Challenge 阅读
weixin_41089007的博客
05-22 558
论文链接：https://arxiv.org/pdf/1810.01170v1.pdf 摘要 本文总结了口语对话系统中端到端（E2E）自然语言生成（NLG）的第一个共享任务的实验设置和结果。 最近的端到端生成系统很有前途，因为它们减少了对数据注释的需求。 但是，它们目前仅限于小型的去词汇化(delexicalised)数据集。E2E NLG共享任务旨在评估这些新方法在学习了包含更高词汇丰富度，...
部分data2text模型整理
听了个听儿
01-26 1190
结构化数据作为输入，可阅读文本文本作为输出。持续关注data2text的NLG技术~~
【200+论文】深度强化学习、对话系统、文本生成、文本摘要、阅读理解等文献列表
热门推荐
fhzmsj2008Plus的博客
05-20 1万+
【导读】本文收录了深度强化学习、对话系统、文本生成、文本摘要、阅读理解、因果推理、记忆网络、推荐系统、神经表示学习等一系列领域参考文献大合集！ https://cloud.tencent.com/developer/article/1421859 来源：https://github.com/lipiji/app-dl （图源自网络） 深度强化学习 Deep Reinforcement...
人工智能 | 自然语言处理（NLP）研究团队
尘世冰封的专栏
06-22 1797
博主github：https://github.com/MichaelBeechan 博主CSDN：https://blog.csdn.net/u011344545 Natural Language Processing 自然语言处理（NLP）团队 1、The Berkeley NLP Group 加州大学伯克利分校 http://nlp.cs.berkeley.edu/index.shtml ...
阅读笔记-阿里妈妈AI智能文案
听了个听儿
11-02 3771
文章目录之前解决文本多样性的方法1. [李继伟2016a](https://arxiv.org/pdf/1510.03055.pdf)1.1 MMI-antiLM1.2 MMI-bidi2. [VAE](https://www.aclweb.org/anthology/K16-1002)AE vs. VAE无监督句子编码VAE相关基础工作2.1 编解码模型2.2 VAE和CVAE2.3 **Sel...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值