
NLP/机器翻译
文章平均质量分 81
概率论与数理统计
u013250861
这个作者很懒,什么都没留下…
展开
-
基于ModelArts实现Text2SQL
虽然之前对 Text2SQL 的研究提供了一些可行的解决方案,但大多数都是基于列表示提取值。如果查询中有多个值,并且这些值属于不同的列,则以前基于列表示的方法无法准确提取值。基于列的值提取分为值提取和值列匹配两个模块。2.本案例使用硬件:GPU: 1*NVIDIA-V100NV32(32GB) | CPU: 8 核 64GB。3.运行代码方法: 点击本页面顶部菜单栏的三角形运行按钮或按Ctrl+Enter键 运行每个方块中的代码。运行下面代码,进行数据和代码的下载和解压缩。5.碰到问题的解决办法**:**原创 2023-04-03 16:45:44 · 415 阅读 · 1 评论 -
NLP-机器翻译:数据集介绍及预处理
1.8 million的文章超过650k手动编写的文章摘要超过1.5 million 的人工标记的文章,标记包括 人物,地点,组织,标题,主题超过275k使用算法生成标记的文章用于解析xml文件的java工具语料库中有650k个手动编写的文章摘要,这个可以用于文档摘要生成算法的评估,参考资料:New York Times Corpus 介绍 (未完待续)The New York Times Annotated Corpus...原创 2022-02-15 22:45:00 · 934 阅读 · 0 评论 -
NLP-生成模型-2016:CopyNet【Copy机制赋予seq2seq模型从源文本中复制词汇的能力,解决Decoder的OOV问题】
本文开篇,作者就提出他们的目标是解决seq2seq模型的复制问题,并且提供了一个例子:在这个例子中,我们要对用户提出的问题做出回答,显然,蓝色部分根本不需要理解语义,直接复制即可。针对这种情形,作者希望能赋予seq2seq复制的能力。解决方案其实和前一篇ACL17的文章有些类似。那么为什么先介绍17年的文章,后介绍16年的呢?这是因为ACL17的文章相对较为通俗易懂,我们在读过它后再来理解ACL16的文章会更容易。模型包含两个部分:Generation-Mode用来根据词汇表生成词汇,然后Copy-原创 2021-08-26 17:15:05 · 1049 阅读 · 1 评论 -
NLP-生成模型-2017-PGNet:Seq2Seq+Attention+Coverage+Copy【Coverage解决解码端重复解码问题;Copy机制解决解码端OOV问题】【抽取式+生成式】
Pointer Network(指针网络)属于生成式模型。- 仅用传统的 Seq2Seq 模型可以实现生成式摘要,但存在两个问题: 1. 可能不准确地再现细节, 无法处理词汇不足(OOV)单词/they are liable to reproduce factual details inaccurately; 2. 倾向于重复自己/they tend to repeat themselves。- 传统的 Seq2Seq 模型中 Decoder 输出的目标数量是固定的,例如翻译时 Decoder 预测原创 2020-12-24 23:44:02 · 3680 阅读 · 4 评论 -
NLP-生成模型-2014:Seq2Seq【缺点:①解码器无法对齐编码器(Attention机制);②编码器端信息过使用或欠使用(Coverage机制);③解码器无法解决OOV(Pointer机制)】
我们之前遇到的较为熟悉的序列问题,主要是利用一系列输入序列构建模型,预测某一种情况下的对应取值或者标签,在数学上的表述也就是通过一系列形如 Xi=(x1,x2,...,xn)\textbf{X}_i=(x_1,x_2,...,x_n)Xi=(x1,x2,...,xn) 的向量序列来预测 YYY 值,这类的问题的共同特点是,输入可以是一个定长或者不定长的序列,但输出一般要求是一个固定长度的序列(单个标签较为常见,即长度为1的序列)。例如利用RNN网络的文本情感分类,输入的文本长度不固定,但输出是某一原创 2020-12-22 23:29:24 · 2082 阅读 · 1 评论 -
NLP-生成模型-2016:Seq2Seq+Attention+Coverage 【覆盖机制:解决编码端信息(词)的过使用/欠使用问题(Attention机制不能清楚地知道哪些信息被用过或没被用过)】
自然语言处理(NLP)原创 2021-02-28 22:19:23 · 1345 阅读 · 1 评论 -
NLP-2015:Luong NMT模型【Attention类型:Global Attention、Local Attention(实践中很少用)】
自然语言处理(NLP)原创 2021-02-23 21:56:42 · 785 阅读 · 0 评论 -
NLP-2015:Subword NMT模型【使用子词来解决OOV问题】
《原始论文:Neural Machine Translation of Rare Words with Subword Units》一、概述1、摘要神经机器翻译(NMT)模型通常以固定的词汇量运行,但是翻译是一个开放词汇的问题。先前的工作通过退回到字典来解决词汇外单词的翻译。在本文中,我们介绍了一种更简单,更有效的方法,通过将稀疏和未知词编码为子词单元序列,使NMT模型能够进行开放词汇翻译。这是基于这样的直觉,即:可以通过比单词小的单位来翻译各种单词类别,例如名称(通过字符复制或音译),复合词(通原创 2021-08-14 18:01:05 · 967 阅读 · 0 评论