李宏毅2020ML——P80通过GAN改进序列生成

最新推荐文章于 2023-04-29 11:06:46 发布
最新推荐文章于 2023-04-29 11:06:46 发布
阅读量159 收藏 1
点赞数 1
分类专栏： 李宏毅2020ML 文章标签： 人工智能 深度学习 机器学习 GAN 语序转换
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44177594/article/details/115254531
版权
本文探讨了传统seq2seq模型在训练中存在的问题，并介绍了两种改进方法：一是利用强化学习（RL），通过人类反馈最大化预期奖励；二是采用条件GAN（CGAN）并解决不可微分问题，如Gumbel-softmax和连续输入策略。这两种方法被应用于无监督条件序列生成、文本风格转换、抽象概括和无监督翻译等任务中，展示了它们在各种自然语言处理任务中的潜力和效果。
摘要由CSDN通过智能技术生成

Outline

Conditional Sequence Generation

用GAN的技术来train seq2seq
在这里插入图片描述
之前传统方法的问题：
在这里插入图片描述
今天会介绍两个提升的方法：
1.强化学习
2.GAN

RL (human feedback)

引入强化学习的方法：
在这里插入图片描述
思想：
在这里插入图片描述
最大化预期奖励
在这里插入图片描述
对期望reward进行变形，没有θ
在这里插入图片描述
先对有θ的项求gradient，再使用最后的式子来做approximate
在这里插入图片描述
具体含义：
在这里插入图片描述
流程：
在这里插入图片描述
和之前进行对比
在这里插入图片描述
人的精力是有限的，和不让两个ML自己对话呢
在这里插入图片描述

GAN (discriminator feedback)

有条件的GAN可以做到这个事情
在这里插入图片描述
算法流程：
在这里插入图片描述
没有办法微分怎么办？
在这里插入图片描述

三个解决不能微分的办法：

Gumbel-softmax

见paper
在这里插入图片描述

Continuous Input for Discriminator

直接避开
在这里插入图片描述
新的问题用WGAN解决
在这里插入图片描述

Reinforcement Learning

用强化学习的方法解决
在这里插入图片描述
训练流程：
在这里插入图片描述
会出现的问题：
在这里插入图片描述
解决办法：
在这里插入图片描述
结果展示：
在这里插入图片描述

Unsupervised Conditional Sequence Generation

Text Style Transfer

之前的思想套用
在这里插入图片描述
对图像的CycleGAN
在这里插入图片描述
图像换成文本
在这里插入图片描述
文本不能微分怎么办
在这里插入图片描述
结果展示
在这里插入图片描述
另外一种方法

我们之前将人像和漫画之间进行转换
在这里插入图片描述
也可以用这个方法来做文本转换
在这里插入图片描述

Unsupervised Abstractive Summarization

关于摘要总结
在这里插入图片描述
document看作domainX，summary看作domainY
在这里插入图片描述

第一种理解

cycle GAN思想
在这里插入图片描述
minimize the reconstruction error
在这里插入图片描述

第二种理解

另外一种理解
在这里插入图片描述
让其可读
在这里插入图片描述
结果展示：
在这里插入图片描述
结果对比：
在这里插入图片描述

Unsupervised Translation

同样的思想
在这里插入图片描述
也是可行的
在这里插入图片描述
语言之间转换
在这里插入图片描述
结果展示：
在这里插入图片描述

小葵向前冲
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一文看懂——序列数据的生成：GAN的方法
华章IT官方博客
01-20 5173
导读：序列数据指的是一种按照先后顺序排列的离散数据，这类数据虽然不如图像数据那么直观，但其实在实际生活中非常常见。比如我们平时浏览网站的行为其实就是序列数据，我们会不断地在各种不同的网页链...
序列生成_序列数据的生成：GAN的方法
weixin_39770165的博客
01-14 806
本文介绍如何使用GAN的方法生成离散的序列数据，以及如何应用于自然语言生成的场景。全文大约阅读时间为8分钟。序列生成的问题序列数据指的是一种按照先后顺序排列的离散数据，这类数据虽然不如之前经常提到的图像数据那么直观，但其实在实际生活中非常常见。比如我们平时浏览网站的行为其实就是序列数据，我们会不断地在各种不同的网页链接之间跳转，从而形成一个序列的网页链接列表；又比如我们平时使用的自然语言，就是由一...
2020李宏毅学习笔记——60.Generative Adversarial Network（3_10)
weixin_44554337的博客
07-15 410
Unsupervised Conditional Generation 1.概念 上节讲了Conditional GAN，这个GAN是监督学习，带标签的，这节看Unsupervised Conditional GAN。 那么Conditional GAN如何做到Unsupervised呢？ 例子1： Transform an object from one domain to another without paired data将一个对象从一个域转换到另一个域，而不需要成对的数据 (e.g. style
【李宏毅2020 ML/DL】P83 Generative Adversarial Network | Evaluation
记录学习痕迹的公众号：Piper蛋窝
08-08 497
讨论了如何评价一个 GAN 的结果，最后做了一个 A to Z 的小总结哈哈哈。
深入浅出讲 RLHF（RL with human feedback）
最新发布
m0_72410588的博客
04-29 3276
RLHF 是一种基于强化学习的算法，通过结合人类专家的知识和经验来优化智能体的学习效果。与传统的强化学习算法相比，RLHF 不仅考虑到了智能体的行为奖励，还融合了人类专家的反馈信息，使得模型能够更快地学习到有效的策略。RLHF 是一种创新的强化学习算法，能够结合智能体自主学习和人类专家反馈两种不同的策略，加速模型的训练并提高模型的性能。与传统的强化学习算法相比，RLHF 具有更快的训练速度、更高的性能和更强的可解释性，为实际应用带来更多可能性。
李宏毅GAN课程讲义、生成式对抗网络课件
09-30
生成式对抗网络（Generative Adversarial Networks，简称GANs）是由Ian Goodfellow在2014年提出的一种深度学习模型，它通过两个神经网络——生成器（Generator）和判别器（Discriminator）之间的博弈来学习数据的...
李宏毅 2020 ML Homework 1: Linear Regression-数据集
03-25
在这个“李宏毅2020 ML Homework 1: Linear Regression-数据集”中，我们关注的是一个回归问题，特别是针对PM2.5（细颗粒物）浓度的预测。PM2.5是指大气中直径小于或等于2.5微米的颗粒物，对人体健康和环境有显著...
李宏毅GAN对抗生成网络2018最新ppt全套
08-17
李宏毅GAN对抗生成网络2018最新ppt全套,内容非常详细，结合视频一起学习，将大有裨益
李宏毅 2020 ML Homework 2 - Classification-数据集
03-25
《李宏毅2020年机器学习作业2——分类数据集详解》 在这个数据集中，我们关注的是李宏毅教授在2020年开设的机器学习课程中的第二个作业，主题是“分类”。分类是机器学习领域的一个基础任务，其目标是根据输入特征...
RLHF：基于人类反馈（Human Feedback）对语言模型进行强化学习【Reinforcement Learning from Human Feedback】
u013250861的博客
12-30 1万+
因此，训练阶段，如果直接用人的偏好（或者说人的反馈）来对模型整体的输出结果计算reward或loss，显然是要比上面传统的“给定上下文，预测下一个词”的损失函数合理的多。基于这个思想，便引出了本文要讨论的对象——为了能刻画模型输出的整体质量（而不是单个词），人们往往用BLEU或ROUGH等评价指标来刻画模型输出与人类偏好的相近程度，但这也仅仅是在评价的层面，模型在训练的时候是见不到这些人类真实的偏好的。取得了巨大的成功，诞生了不少有意思的AI应用，例如AI写小说，AI写代码，AI画图甚至AI做视频等。
（gan神经网络生成一维数据）gan.py
05-15
用python语言，利用对抗抗神经网络（GAN神经）生成一维数据，用python语言，利用对抗抗神经网络（GAN神经）生成一维数据。
使用GAN生成序列数据
idol24的博客
07-05 8762
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！戳我，查看GAN的系列专辑~！下文转自专知内容不代表公众号立场 【导读】序列数据十分常见...
Gan初探(二)序列生成 Mad-Gan、Seq-Gan实验
yzsjwd的博客
08-27 1664
背景 将用户行为转化为序列数据后，需要做部分种类的样本做数据增强。 介绍 Mad-Gan：使用Gan完成异常检测。 生成器与判别器都换成了lstm，其他和SGan没有任何区别。从随机向量生成序列。 优点：将生成器加入到异常判别的队伍中，通过构造随机向量的方法得到重构目标样本的损失，加权和判别网络得到的分数求和，卡个阈值判断异常点 缺点：生成器其实无法生成高质量的序列样本，个人认为它没有解决序列生成的几个问题。 序列生成存在的问题:(1)离散数据很难使用梯度更新 (2)判别器很难对不完整序列判断真假 Se
GAN+文本生成：让文本以假乱真
洋葱专栏-有灵魂的程序员
05-23 4万+
转载：https://zhuanlan.zhihu.com/p/36880287?utm_source=wechat_timeline&utm_medium=social&utm_oi=623434717970698240&from=timeline&isappinstalled=0&wechatShare=1 论文一、《Generative Advers...
生成对抗网络(GAN)简单梳理
热门推荐
时光杂货店
09-19 6万+
网上已经贴满了关于GAN的博客，写这篇帖子只是梳理下思路，以便以后查阅。 关于生成对抗网络的第一篇论文是Generative Adversarial Networks 0 前言GAN(Generative Adversarial Nets)是用对抗方法来生成数据的一种模型。和其他机器学习模型相比，GAN引人注目的地方在于给机器学习引入了对抗这一理念。回溯地球生物的进化路线就会发现，万物都是在不
序列生成_序列生成：SeqGAN和RankGAN
weixin_33281940的博客
12-31 685
这篇文章主要介绍两个序列生成的GAN模型，分别是发表在AAAI 2017上的SeqGan和 NIPS 2017上的 RankGANSeqGAN: Sequence Generative Adversarial Nets with Policy Gradient​arxiv.orgAdversarial Ranking for Language Generation​59.80.44.49除了在图像...
深度学习-李宏毅GAN学习之改进序列生成器
王伟王胖胖的博客
07-12 1319
深度学习-李宏毅GAN学习之改进序列生成器序列生成器机器人聊天问题改进序列模型 序列生成器 很多情况下，我们需要的生成器是序列模型，比如语音识别，机器翻译，机器人聊天，今天我们要用GAN的技术来改进他们，他们都可以看成是一个条件生成器，输入一个信息，根据这个信息输出一个信息： 机器人聊天问题 举个机器人聊天的例子，传统做法就是训练一个编码器，解码器，输入一段文字，希望输出的跟给定的文字越接近越好...
GAN（生成对抗网络）在合成时间序列数据中的应用（第一部分——利用GAN生成合成(synthetic)数据）
White__River的博客
07-06 5914
GAN（生成对抗网络）在合成时间序列数据中的应用（第一部分——利用GAN生成合成数据） （本文基本是对Jasen 的《Machine Learning for Algorithmic Trading》第二版的第21章进行翻译、改写和复现，并用于我们的实际情况） 1. 准备阶段 配置介绍 在Anaconda下安装TensorFlow以及在Jupyter Notebook中引用的准备，可以参考以下文档 https://www.tensorflow.org/tutorials/quickstart/beginne
InfoGAN 生成时序序列
songbinxu的博客
01-14 8684
InfoGAN 生成时序序列 简介 完整代码：https://github.com/SongDark/timeseries_infogan   本文介绍用InfoGAN生成多维时序序列。 数据 数据集下载地址 Name Class Dimension Train Size Test Size Truncated CharacterTrajectories 20 3 1422 14...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值