自然语言生成与应用 （校对纠错算法排序的真谛就是靠生成模型）

最新推荐文章于 2022-12-30 14:45:49 发布
最新推荐文章于 2022-12-30 14:45:49 发布
阅读量927 收藏
点赞数
分类专栏： 文本校对和纠错算法 文章标签： 算法 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011983997/article/details/122668698
版权

在这里插入图片描述

公众号 系统之神与我同在

概述
ProphetNet: 用序列到序列预测N-gram. EMNLP- Findings 2020
增强版的知识注入模型来生成常识. COLING 2020.
BANG: 结合大规模预训练的自回归和非自回归生成. ICML 2021
Poolingformer: 集中注意力的长文档建模. ICML 2021
EL-Attention: 记忆效率，无损的生成注意力. ICML 2021
GLGE:一种新的通用语言生成评估基准. ACL-Findings 2021
ProphetNet: 用序列到序列预测N-gram
背景
在这里插入图片描述
NLG with Trie
在这里插入图片描述
Motivation Of ProphetNet
在这里插入图片描述
Transformer的结构
在这里插入图片描述
ProphetNet的结构
在这里插入图片描述
ProphetNet训练
在这里插入图片描述
在这里插入图片描述
基于中文的任务
在这里插入图片描述

实验结果
在这里插入图片描述

摘要任务（英文）

在这里插入图片描述
问答生成任务（英文）
在这里插入图片描述
在 CNN/DM 结果
在这里插入图片描述
在Gigaword结果
在这里插入图片描述
在SQuAD 1.1结果
在这里插入图片描述
多语言实验结果
在这里插入图片描述
增强版的知识注入模型来生成常识
Commengen任务
在这里插入图片描述
目标
在这里插入图片描述
增强知识注入
在这里插入图片描述
问题的设置
在这里插入图片描述

整体框架
在这里插入图片描述
Group Embedding
在这里插入图片描述

扩展模块
在这里插入图片描述
Prototype 位置推理在这里插入图片描述
Prototype Collection

在这里插入图片描述
BANG: 结合大规模预训练的自回归和非自回归生成
bang的结构：
在这里插入图片描述
实验
在这里插入图片描述
问题生成任务结果
在这里插入图片描述
抽象摘要任务结果
在这里插入图片描述
回答生成任务结果在这里插入图片描述
Poolingformer: 集中注意力的长文档建模
Transformer 编码器

在这里插入图片描述
Longformer 和 Linformer
在这里插入图片描述
Poolingformer 编码器
在这里插入图片描述
计算复杂度
在这里插入图片描述
在这里插入图片描述文档级别的QA问答的Poolingformer
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
EL-Attention: 记忆效率，无损的生成注意力
生成背景

在这里插入图片描述
Transformer
在这里插入图片描述
多头——伤害缓存

在这里插入图片描述
EL-Attention

在这里插入图片描述
每个操作的配置
在这里插入图片描述
实验的速度比较

在这里插入图片描述
不同批量大小的度量
在这里插入图片描述
GLGE:一种新的通用语言生成评估基准
在这里插入图片描述
GLGE Leaderboard
在这里插入图片描述

Necther
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一文看懂自然语言生成 - NLG（6个实现步骤+3个典型应用）
weixin_43612023的博客
08-01 1万+
本文首发自 easyAI - 人工智能知识库 原文地址：《一文看懂自然语言生成 - NLG（6个实现步骤+3个典型应用）》 自然语言生成 - NLG 是 NLP 的重要组成部分，他的主要目的是降低人类和机器之间的沟通鸿沟，将非语言格式的数据转换成人类可以理解的语言格式。 本文除了介绍 NLG 的基本概念，还会介绍 NLG 的3个 Level、6个步骤和3个典型的应用。 什么是 NLG？ NL...
自然语言生成：技术与应用
最新发布
禅与计算机程序设计艺术
12-27 378
1.背景介绍 自然语言生成(Natural Language Generation, NLG)是一种将计算机理解的结构化信息转换为自然语言文本的技术。自然语言生成可以用于各种应用，如机器翻译、文本摘要、文本生成、对话系统等。自然语言生成的主要挑战在于如何在保持语言规范和语义准确性的同时生成自然、流畅的文本。 自然语言生成的发展历程可以分为以下几个阶段： 规则基础设施(Rule-based ...
Q_learning在自然语言生成中的应用思考
qq_32782339的博客
12-02 388
Q_learning  from reinforcement learning 在学习Q_learning算法之前，我们需要了解一下，一个叫做时间差分学习的(temporal difference learning)思想。 它的迭代公式是： 其中是每个episode结束后获得的实际累积回报，α是学习率，这个式子的直观的理解就是用0实际累积回报作为状态值函数V()的估计值。具体做法是对每
自然语言生成综述
朝闻道
01-19 392
自然语言生成（NLG）技术利用人工智能和语言学的方法来自动地生成可理解的自然语言文本。NLG降低了人类和计算机之间沟通的难度，被广泛应用于机器新闻写作、聊天机器人等领域，已经成为人工智能的研究热点之一。首先，列举了当前主流的NLG的方法和模型，并详细对比了这些方法和模型的优缺点；然后，分别针对文本到文本、数据到文本和图像到文本等三种NLG技术，总结并分析了应用领域、存在的问题和当前的研究进展；进而，阐述了上述生成技术的常用评价方法及其适用范围；最后，给出了当前NLG技术的发展趋势和研究难点。 http://
一文看懂自然语言处理-NLP（4个典型应用+5个难点+6个实现步骤）
m0_60720377的博客
09-28 9171
网络上有海量的文本信息，想要处理这些非结构化的数据就需要利用 NLP 技术。 本文将介绍 NLP 的基本概念，2大任务，4个典型应用和6个实践步骤。 NLP 为什么重要？ “语言理解是人工智能领域皇冠上的明珠” 比尔·盖茨 在人工智能出现之前，机器智能处理结构化的数据（例如 Excel 里的数据）。但是网络中大部分的数据都是非结构化的，例如：文章、图片、音频、视频… 在非结构数据中，文本的数量是最多的，他虽然没有图片和视频占用的空间大，但是他的信息量是最大的。 为了能够...
ChatGPT技术对自然语言生成的改进与应用研究.docx
08-29
ChatGPT 技术对自然语言生成的改进与应用研究 ChatGPT 技术是自然语言生成领域的一大突破，它基于 GPT 模型，通过预训练和微调的方式，使其能够以对话的方式生成连贯、合理的自然语言。在自然语言生成领域，...
大语言模型常见应用场景.docx
08-09
大语言模型是人工智能领域的重要成果，尤其在自然语言处理（NLP）中扮演着核心角色。这些模型通过学习大量文本数据，具备了理解和生成人类语言的能力，从而能够适应多种应用场景。以下是对大语言模型常见应用场景的...
基于Python的中文内容纠错算法-课程设计
06-20
中文文本纠错是针对中文文本拼写错误进行检测与纠正的一项工作，中文的文本纠错，应用场景很多，诸如输入法纠错、输入预测、ASR 后纠错等等，例如： 写作辅助：在内容写作平台上内嵌纠错模块，可在作者写作时自动...
ChatGPT技术在文本生成中的自动校对与语言风格控制.docx
12-14
ChatGPT技术在文本生成中的自动校对与语言风格控制
哈工大 智能技术与自然语言处理技术课程 NLP系列课程 第05章 n-gram语言模型 共78页.ppt
04-25
【哈工大智能技术与自然语言处理技术课程】的第五章主要探讨了n-gram语言模型，这是自然语言处理（NLP）中的一个重要概念。n-gram模型是用于建模和预测连续序列数据的一种统计方法，特别是在语言学中用于理解和生成...
PoolFormer实战：使用PoolFormer实现图像分类任务（一）
AI浩
12-30 1368
论文：https://arxiv.org/abs/2111.11418论文翻译：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/128281326官方源码：https://github.com/sail-sg/poolformer模型代码解析：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/128475827。
全网首篇深度剖析PoolFormer模型，带你揭开MetaFormer的神秘面纱
AI浩
12-29 2305
这篇文章详细的介绍了PoolFormer模型，我是结合论文和官方的代码理解的，如果有不对的地方，欢迎大家指出来。
常用校验算法
热门推荐
niepangu的专栏
01-09 1万+
1、在计算机通信中为什么需要对接收的数据进行校验？         在计算机通信中，可能是点对点通信或者是广播方式通信，具有发送端设备和接收端设备。在整个通信网络或通信线路里面，存在有该设备需要的数据、其他设备需要的数据、干扰所产生的信号（如果不处理，可能也会被当成正常数据进行处理）。同时，由于接地不好或者干扰源的问题（例如电焊机、变频器、中频炉等），可能使部分数据被干扰，数据不完整或者错误
PoolFormer解读
周先森爱吃素的博客
12-04 4528
解读最近一篇视觉Transformer的工作，PoolFormer，论文为《MetaFormer is Actually What You Need for Vision》。
浅析poolformer 思考vits的架构问题
m0_63642362的博客
12-03 2264
基于Paddle实现poolformer，模型精度对齐论文要求
自然语言生成介绍
weixin_38858749的博客
12-28 4190
每当我们听到“AI”一词时，我们的第一个想法通常是电影中的未来机器人，如终结者和黑客帝国。尽管我们距离可以自己思考的机器人还有几年的时间，但在过去几年中，机器学习和自然语言理解领域已经取得了重大进展。 个人助理（Siri / Alexa），聊天机器人和问答机器人a等应用程序真正彻底改变了我们与机器和开展日常生活的方式。自然语言理解（NLU）和自然语言生成（NLG）是人工智能发展最快的应用之一，因为人们越来越需要理解和从语言中获得意义，其中含有大量含糊不清的结构。 根据Gartner的说法，“到2019年..
自然语言处理十大应用
TensorFlowNews
07-16 8791
作者|ABHISHEK SHARMA 编译|VK 来源|Analytics Vidhya 介绍 自然语言处理是数据科学领域最热门的课题之一。公司在这一领域投入大量资金进行研究。每个人都在努力了解自然语言处理及其应用，并以此为生。 你知道为什么吗？ 因为仅仅在短短几年的时间里，自然语言处理已经发展成为一种无人能想象的强大而有影响力的东西。 为了了解自然语言处理的力量及其对我们生活的影响，我们需要看看它的应用。因此，我列出了自然语言处理的十大应用。 那么，让我们从自然语言处理的第一个应用开始。 搜索自动更
自然语言生成技术现状调查：核心任务、应用和评估（1）
liuyingshudian的博客
10-31 1183
NLG任务
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值