算法面试之生成模型解码策略与评估方法

已于 2022-12-05 18:15:05 修改
阅读量398 收藏
点赞数
分类专栏： 算法面试NLP必备知识 文章标签： 算法 深度学习 生成模型 blue 自然语言处理
于 2022-09-08 18:05:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43499457/article/details/126769391
版权

算法面试之生成模型解码策略与评估方法

1.生成模型

1.1 seq2seq

在这里插入图片描述

1.2 预训练语言模型

在这里插入图片描述
prefix LM：对上文双向注意力；下文从左到右生成

2.解码策略

2.1 greedy decoding

在这里插入图片描述
很容易选到一些常见词

2.2 sampling-based decoding

在这里插入图片描述
可能生成不太相关的回复

2.3 top-k/p sampling

最低0.47元/天 解锁文章
持续战斗状态
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
一文让你了解生成模型相关的解码Tricks
yiyele的博客
08-06 1万+
一文让你了解生成模型相关的解码Tricks 本文是笔者花费闲暇时间根据工作经历以及阅读文献总结的，如果对于屏幕前的隔着读者有些许帮助，真是欣慰之至。当然，各位读者的支持也是笔者写作的动力。麻烦一键三连。点赞，评论，收藏。 在生成模型中，解码是一个很重要的步骤，直接影响到生成回复质量的高低，所以除了一些解码策略可以使用之外，在解码策略之中，可以穿插使用一些tricks，通过这些tricks的使用，可以解决一些在解码策略中出现的问题，例如解码出现“UNK”字符，解码长度过短等问题。这些trick
评价生成式模型的指标之Geometry Score
沉迷单车的追风少年
01-15 1240
前言：对于生成式模型来说，最大的问题之一是如何评价生成样本的质量和多样性，常用的指标有FID和IS，不过这两种指标有其局限性。本篇博客介绍另一种指标Geometry Score，并给出python代码和快速上手的实战。 论文地址：https://arxiv.org/abs/1802.02664 目录 原理简述 动手实战 原理简述 GANs的创始人提出过著名的流形假设(Manifold Hypothesis)，GS允许以随机方式比较两点云的底层流形的拓扑结构，提供一个分数来比较各种训练模型的质.
模型评估的方法介绍
william118的专栏
07-21 1万+
建模的评估一般可以分为回归、分类和聚类的评估，本文主要介绍回归和分类的模型评估： 一、回归模型的评估 主要有以下方法： 指标 描述 metrics方法 Mean Absolute Error(MAE) 平均绝对误差 from sklearn.metrics import mean_absolute_error Mean Square Error(MSE) 平均方差 from sklearn.metrics import mean_squared_error
文本生成模型评估方法
qq_15821487的博客
07-31 802
困惑度是一种常用于评估语言模型性能的指标，用于衡量模型在新数据上的预测能力。生成文本：今天 是、是 一个、一个 阳光明媚、阳光明媚 的、的 日子、日子 我、我 和、和 朋友们、朋友们 开心、开心 地、地 玩耍着。参考摘要：晴朗 的、的 天气里、天气里 我们、我们 在、在 户外、户外 尽情、尽情 游玩。生成文本：今天、是、一个、阳光明媚、的、日子、我、和、朋友们、开心、地、玩耍着。参考摘要：晴朗、的、天气里、我们、在、户外、尽情、游玩。今天是一个阳光明媚的日子，我和朋友们开心地玩耍着。
CS224N学习笔记（十五）Natural Language Generation
rocking_struggling的博客
05-22 822
1.Recap: LMs and decoding algorithms 课程首先回顾了前面讲的语言模型和相关decode算法。 Natural Language Generation (NLG) NLG是NLP的一大类任务类型，给定一些条件生成一些文本，NLG包括： Machine Translation (Abstractive) Summarization Dialogue (chit-chat and task-based) Creative writing: storytelling, poet
生成式模型的质量评估标准
weixin_43845922的博客
05-30 1139
即：把生成的照片和训练集中真实的照片同时送入到Inception-V3中，将二者经过Inception-V3模型得到的中间的特征向量拿出来，算出一个高斯分布的统计量，再去计算这两个分布之间的一个W2距离。高效计算Precision和Recall。和FID的不同就是用的隐变量不同，FID的隐变量是池化后的，sFID使用的是未经池化的隐变量。鉴于IS的缺点，就有了FID的出现，它是一个距离的量，即和真实的图片(训练集)的一个对比。recall：即蓝色的点占红色的分布的比例，即真实的样本占预测分布的比例。
ChatGPT技术应用中的生成模型解码与输出问题分析.docx
09-01
ChatGPT技术是一种先进的生成模型，它在自然语言处理领域展现出强大的对话生成能力。然而，随着其广泛应用，也暴露出一些关键问题，主要集中在解码与输出阶段。本文将详细探讨这些挑战，并提出相应的解决方案。 ...
iRadon_3_CT成像的编码生成与解码小示范程序_
10-04
《CT成像的编码生成与解码：基于iRadon_3的小程序解析》 CT（Computed Tomography）成像，又称计算机断层扫描，是一种无创性、高精度的医学影像诊断技术。它通过X射线对人体进行扫描，然后通过复杂的计算方法重建...
python-leetcode面试题解之第91题解码方法-题解.zip
最新发布
04-23
标题中的"python-leetcode面试题解之第91题解码方法"表明这是一份关于Python编程语言在解决LeetCode在线编程平台上的第91题——"解码方法"（Decoding Ways）的面试题解析资料。LeetCode是一个非常受欢迎的网站，...
基于Python的故事文本生成模型实现代码及数据.zip
08-29
本次作业本质上是文本生成的任务，序列到序列模型是文本生成领域比较常用的一个算法，也是课程提供的参考文献[2]中使用的方法，采取了编码器-解码器的架构，用编码器编码输入，解码器则用来产生输出，两个模块之间...
基于python的GPT2中文文本生成模型项目实现
03-26
- **序列化与反序列化**：保存和加载模型权重是模型管理的关键，PyTorch提供save和load方法进行操作。 - **模型压缩与量化**：为了在资源有限的环境中部署，可能需要对模型进行压缩或量化，降低模型大小和推理时间。...
生成模型-解码策略小结
热门推荐
yiyele的博客
04-15 2万+
解码方法小结 本文是笔者花费闲暇时间根据工作经历以及阅读文献总结的，如果对于屏幕前的隔着读者有些许帮助，真是欣慰之至。当然，各位读者的支持也是笔者写作的动力。麻烦一键三连。点赞，评论，收藏。 1. 简介 在对话生成任务中，解码策略有自回归与非自回归两种方法。其中自回归的解码策略包括了greedy，beam search，top-k以及top p等方法。每种方法都有自己的优缺点。本文主要是针对上面的解码策略做个汇总，以便读者以及笔者后续查看。 在自回归的解码方法，主要是在inference阶段，
大模型中的temperature参数+随机采样策略
ningyanggege的博客
05-16 6600
使用GPT-3.5的时候发现相同的输入会得不一样的结果。
【自然语言处理】【文本生成】Transformers中用于语言生成的不同解码方法
bqw的博客
09-19 3561
​ 近些年来，随着大型预训练语言模型的兴起，人们对开发式语言生成越来越感兴趣。之所以开放式语言生成效果令人印象深刻，除了架构的改善和大量的无监督训练数据，更好的解码方式也扮演着重要的角色。本文对不同的解码方法进行了简单的介绍并展示如何使用库进行实现。​ 以下所有的功能都是用于自回归语言生成。
干货！生成模型的评价与诊断
AITIME_HY的博客
08-04 867
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！深度生成模型的巨大成功需要量化工具来衡量它们的统计性能。Divergence frontiers 最近被提议作为生成模型的评估框架，因为它们能够衡量深度生成模型固有的质量与多样性权衡。我们对divergence frontiers的样本复杂度做出了非渐进的分析。我们还引入了frontier integral，它提供...
Beam Search、GREEDY DECODER、SAMPLING DECODER等解码器工作原理可视化以及在自然语言生成领域的使用
deephub
07-09 5990
图像标注的任务让我们可以构建和训练一个为任何给定图像生成字幕的神经网络。在设计时使用了解码器的来完成文字的生成。当我们描述了每个解码器的工作原理时，我发现当它们被可视化时，更容易理解它们。 图像标注任务流程图 与翻译模型类似，我们的图像字幕模型通过输入图像张量和特殊的句首标记（即）来启动字幕生成过程。这个模型生成了我们单词的概率分布（实际上是logits）。橙色方框显示解码算法的选择，帮助我们选择使用哪个单词。然后，选择的单词和图像再次传递给模型，直到我们满足停止条件，即我们获得特殊的句子结束标记（即）作
人工智能-机器学习-深度学习-自然语言处理(NLP)-生成模型：Seq2Seq模型（Encoder-Decoder框架、Attention机制）
u013250861的博客
12-22 894
随机梯度下降
NLp语言生成模型详细介绍
weixin_35750953的博客
01-12 904
NLP (自然语言处理)语言生成模型是一类模型，它可以根据输入的数据来生成文本。这些模型通常基于神经网络，如LSTM或Transformer等。它们可以被用来完成诸如文本摘要、对话机器人、翻译等任务。生成模型需要大量的训练数据，训练后可以根据给定的输入(例如输入句子或摘要)来生成相应的输出(例如完整的文章或对话)。通常来说，这些模型会结合编码器-解码器架构和注意力机制来生成文本。 ...
【自然语言处理】【文本生成】UniLM：用于自然语言理解和生成的统一语言模型预训练
bqw的博客
09-11 1071
​ 预训练语言模型提高了各种自然语言处理任务的表现。预训练语言模型通过使用大量文本进行基于上下文的预测来学习上下文表示，并通过微调来适应下游任务。​ 不同类型的预训练语言模型具有不同的预测任务和训练目标函数。ELMoELMo学习两个单向LMs\text{LMs}LMs：一个前向LM\text{LM}LM从左到右读取文本，一个后向LM\text{LM}LM则从右到左编码文本。GPT\text{GPT}GPT使用一个的来逐个词的预测文本序列。作为对比，BERTBERT利用双向。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

持续战斗状态

很高兴可以帮到你

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值