深度学习（十）Improving Sequence Generation by GAN——笔记

已于 2022-04-14 20:44:01 修改
阅读量989 收藏
点赞数
文章标签： 人工智能 深度学习
于 2022-04-13 13:40:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45649258/article/details/124146001
版权

目录

Improving Sequence Generation by GAN

sequence generator的应用很多，甚至强化学习也算是sequence generator。
在这里插入图片描述

1.Conditional Sequence Generation

输入是一个sequence或者scale，输出是一个sequence。
在这里插入图片描述

2.传统Sequence-to-sequence

在这里插入图片描述

3.RL (human feedback)

Chat-bot的目标就是要把分数最大化。把这个事情模型化表达：
在这里插入图片描述

数学的推导
在这里插入图片描述
在这里插入图片描述

4.Policy Gradient Implemenation

左边的红框，先输入N个句子给Chatbot，得到N个回答（相当于采样），然后人对这N个问答进行评分，再更新参数
在这里插入图片描述

5.GAN (discriminator feedback)

在这里插入图片描述

6.Algorithm

在这里插入图片描述

7.Unsupervised Conditional Sequence Generation

实际上它往往可以在训练集特别小的情况下训练出超过Supervised Conditional Sequence Generation的效果，但是如果数据集足够大，最后的结果往往不理想。
在这里插入图片描述
在这里插入图片描述

8.Projection to Common Space

这个方法是把两个domain的特征都抽取到同一个公共向量上
在这里插入图片描述

9.Unsupervised Abstractive Summarization

在这里插入图片描述
在这里插入图片描述

鹿衔草啊
关注
GAN(9)——sequence generation
duyue3052的博客
09-30 785
seq2seq的模型训练 传统方法的问题——RL中不存在标准回答，用Reward标识每个样本的权重，迭代更新 两者其实不是矛盾的，maximum likelihold 作为判别器，RL本身作为生成器？   on policy就是训练学生 off policy就是训练老师 强化学习的一大难点就是：需要大量的对当前训练样本的reward的计算 比如...
【李宏毅2020 ML/DL】P82 Generative Adversarial Network | Improving Sequence Generation by GAN
记录学习痕迹的公众号：Piper蛋窝
08-08 852
关于序列数据的GAN生成模型，分为 Conditional 和 Unsupervised Conditional 两部分。
第三十四节 GAN：Improving Sequence Generation
Reast1nPeace的博客
09-08 154
李宏毅学习笔记38.GAN.09.Improving Sequence Generation by GAN
老毛的博客
07-25 841
文章目录简介Conditional Sequence Generation原始seq2seq模型回顾RL (human feedback)Policy Gradient 简介 公式输入请参考：在线Latex公式 本节讲如何用GAN递推（改进）Generator。本节内容大纲如下： Conditional Sequence Generation • RL (human feedback) • GAN (discriminator feedback) Unsupervised Conditional Seque
GAN笔记_李弘毅教程(九)Sequence Generation
sinat_32512123的博客
11-15 804
Improving Sequence Generation by GAN Conditional Sequence Generation 以chat-bot 为例，正确答案应该是“I‘m good”,输出的结果和它越接近越好，实际上“Not bad”也是正确回答，对于机器来说“I’m John”相比“Not bad”，与正确答案更加相似。 Improving seq2seq model ...
GAN学习笔记-李宏毅：GAN Lecture 9 (2018): Sequence Generation
qq_31895943的博客
03-06 667
李宏毅老师讲解的 GAN Lecture 9 (2018): Sequence Generation Conditional Sequence Generation 用maximize likelihood（也可以称为minimize cross entropy）训练seq2seq model 的问题是training criterion很难选到合适的 by RL improving p...
《Mamba: Linear-Time Sequence Modeling with Selective State Spaces》阅读笔记
AncilunKiang的博客
12-10 2526
论文标题 《Mamba: Linear-Time Sequence Modeling with Selective State Spaces》 利用选择性状态空间的线性时间序列建模 作者 Albert Gu 和 Tri Dao Albert Gu 来自卡内基梅隆大学机器学习系，Mamba 脱胎于 Albert Gu 的前作 S4 架构。 Tri Dao 来自普林斯顿大学计算机科学系，Mamba 的简化块设计结合了 Tri Dao 的 H3 块和 MLP 块。 初读 摘要 Transformer 架构及其
牛逼的学习笔记
m0_60728007的博客
11-06 134
第一章 ML\DL学习笔记 1.1 杂七杂八的笔记 1.1.1 1.2 李宏毅深度学习作业笔记 1.2.1 HM1
【必收藏】台大李宏毅老师课程 | 资源汇总、笔记总结与索引
记录学习痕迹的公众号：Piper蛋窝
08-18 1万+
深度学习入场券？李宏毅教师的课程足矣！
【李宏毅2020 ML/DL】P84 SAGAN, BigGAN, SinGAN, GauGAN, GANILLA, NICE | More About GAN 2020
记录学习痕迹的公众号：Piper蛋窝
08-09 1468
介绍了2020年 6 个图像领域表现较为突出的 GAN 。
生成对抗网络GANs（笔记一）主线
热门推荐
qq_21210467的博客
08-19 1万+
生成式对抗网络（Generative Adversarial Nets, GAN） 一、发展历程： 最开始接触GANs是因为想了解有关于在少量数据的情况下如何做数据增广。然后就了解到了DCGAN生成手写数字的案例，简直是惊为天人，然今才逐渐开始了解生成对抗网络的思想。到了后来一直想用生成对抗网络的思想做语音识别和语音合成这一方面，一直找到合适的资料。再后来，鬼使神差的想结合GANs来做毕业论文...
目标检测系统中需要【重新训练模型】说明
最新发布
2401_85556416的博客
10-13 236
打开"ultralytics\cfg\datasets\SODA10M.yaml"文件。将SODA10M.yaml的第一行数据集路径修改为自己数据集路径。以【基于YOLOv8的车辆行人目标检测系统】训练为例进行说明。训练模型的权重保存路径在"runs\detect\train\weights"目录下。给出的项目中已包含训练好的模型以及训练的结果，可直接使用。（3）运行main_model_train.py程序。（1）如果环境还没有搭建好的，首先要搭建训练环境。（4）训练模型保存路径。
线性判别器LDA
qq_52421831的博客
10-10 1021
LDA是一种有监督的降维方法，和它比较类似的是PCA(一种无监督的降维方法)
论文及其创新点学习cvpr2022 On the Integration of Self-Attention and Convolution
qq_53536373的博客
10-13 100
论文创新点，将注意力机制 和卷积 相结合。
骨架提取（持续更新）
xiongmaowangd的博客
10-13 195
骨架提取是图像处理或计算机视觉中的一种技术，用于从二值化图像中提取物体的中心线或轮廓，通常称为“骨架”或“细化图像”。这一技术主要用于简化形状表示，同时保留物体的拓扑结构。这里我们强调了，是对二值化图像中进行提取。
R语言生物群落（生态）数据统计分析与绘图实践技术应用
JWW19903121626的博客
10-10 1005
R 语言作的开源、自由、免费等特点使其广泛应用于生物群落数据统计分析。生物群落数据多样而复杂，涉及众多统计分析方法。以生物群落数据分析中的最常用的统计方法回归和混合效应模型、多元统计分析技术及结构方程等数量分析方法为主线，通过多个来自经典研究中的实例，详细讲述各方法的R语言实现途径。
文本区域分割系统源码＆数据集分享
lzmlzm89的博客
10-08 1318
数据集信息展示在现代计算机视觉领域，文本区域分割的研究日益受到重视，尤其是在处理文档图像和名片等场景时。为此，我们构建了一个名为“more2”的数据集，旨在为改进YOLOv8-seg模型提供丰富的训练素材，以提升其在文本区域分割任务中的表现。该数据集包含五个类别，具体包括“0”、“2”、“business-name-card”、“doc”和“wendang”，每个类别均具有独特的特征和应用场景，能够为模型的训练提供多样化的样本。
2024人工智能现状：未来已至，你准备好了吗？
weixin_41496173的博客
10-12 837
在科技飞速发展的今天，人工智能（AI）已经不再只是科幻小说中的概念。随着各大科技公司和研究机构在AI领域的投入加大，AI技术正在逐步渗透到我们生活的方方面面。2024年，AI不仅在科研上取得了巨大突破，在产业应用、政策法规、安全等方面也有了显著的进展。本文将带您深入探讨[《2024人工智能现状报告》（**State of AI Report 2024**）](https://www.stateof.ai/)中的关键内容，帮助您了解AI的现状及其未来趋势。
吴恩达深度学习课程：深度学习基础与神经网络解析
"吴恩达的Coursera深度学习课程，是deeplearning.ai系列的第一部分，主要介绍深度学习的基础概念。课程由著名的人工智能专家Andrew Ng教授，旨在阐述深度学习如何像电力一样，对各行各业产生深远影响。" 深度学习是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值