[学习日志]深度学习-李宏毅 条件生成

最新推荐文章于 2024-05-31 16:14:40 发布
最新推荐文章于 2024-05-31 16:14:40 发布
阅读量67 收藏
点赞数
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gjh1716718326/article/details/113562954
版权

生成 Generation

利用RNN的特性,可以生成一些东西,比如语句\图片\音频等…
在这里插入图片描述

条件生成 Conditional Generation

光有生成是没有意义的,更多的时候我们希望机器能生成符合规则的东西
比如,用一句话回答问题(Chat-bot)\描述一张图的内容(Caption Generation)
在这里插入图片描述

Encoder

在这里插入图片描述
.一个RNN,把输入量变成向量,word2vector,类似Seq2Seq的功能

Decoder

在这里插入图片描述
一个RNN,根据输入给出输出(输入来自Encoder,是包含了语境信息的词向量)

Encoder和Decoder是同步训练的,参数可以共享也可以不共享

这个生成的思想,后面在Transformer还会延续

烫烫烫烫的若愚
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
李宏毅GAN对抗生成网络2018最新ppt全套
08-17
李宏毅GAN对抗生成网络2018最新ppt全套,内容非常详细，结合视频一起学习，将大有裨益
李宏毅机器学习笔记——生成模型
weixin_62375715的博客
03-29 461
在这里有个tips值得说一下，图的每个像素一般RGB三色，问题出在当RGB三个值相差不大时最终的结果像素点的颜色趋向灰色，于是乎，为了使生成的图像更加鲜亮，就需要拉高三个值的差距。总而言之，上图其实是有许多个gaussion分布组合而成的，比如有10个，那么能sample就最多有10种情况，但当我们采用映射的方法，z拥有无穷多的可能，时，KL(q(z|x)||P(z|x))值将不断缩小(问为什么？Log(P(x))不会改变，如图所示，我们从寻找P(x|z)变成了寻找P(x|z)与q(z|x)
RNN条件生成与Attention
10-31
RNN条件生成与Attention介绍图像生成文本、Attation、机器翻译、RNN条件生成、RNN解决的问题等
第八课 RNN条件生成与Attention机制
约定的博客
03-01 519
文章目录1 RNN条件生成2 机器翻译3 Attention4 图像生成文本 1 RNN条件生成 RNN可以解决的问题有多种，根据输入输出个数不同分为： 1 一对多：图像描述 2 多对一：文本分类 3 多对多： 实时多对多：输入法、视频解说 输入完成再多对多：机器翻译 条件生成问题：P(y|x) 2 机器翻译 3 Attention 4 图像生成文本 ...
[学习日志]深度学习-李宏毅 Attention
gjh1716718326的博客
02-02 94
什么是Attention 注意力,其实就是动态的条件生成. 也就是在RNN的时候,每次的输入不再是相同的,而是动态变化的 就像是每轮学习时,注意力都只聚焦在需要聚焦的部分上,这样就能提升学习效率(很合理) 关键是如何精准的聚焦需要聚焦的部分呢?这是让机器自己去学习的 Attention模型 如上图,Zo和不同部分做Match运算,可以得到不同部分的α(和为1),从而控制对不同部分的关注度 ...
[学习日志]深度学习-李宏毅 半监督学习
gjh1716718326的博客
01-23 200
定义 数据集中有一部分已标注数据，但绝大部分是未标注数据。 直推式学习：未标注数据就是测试数据 生成式学习：未标注数据不是测试数据 为什么做半监督 因为很多情况下，是无法获取大量已标注数据的 半监督学习的启发模型 主要的思想就是：既然不知道某一未标注数据到底是什么，那么就用概率替代标签 对于未知数据要如何定义极大似然函数？见上图 自训练模型 训练的过程： 1.根据已标注数据，训练出一个模型 2.利用此模型给未标注数据分类（pseudo-label 伪标签） 3.然后把一部分的伪标签数据看作已标注数据
[学习日志]深度学习-李宏毅 逻辑回归
gjh1716718326的博客
01-14 110
上堂课的接续 上堂课得到了一个关于参数w,b的线性式z,将z作为sigmoid的参数,就完成了所谓的线性回归. 逻辑回归的损失函数 - 又是likelihood 这里利用了二分类的特性,对损失函数做了一个变形。 交叉熵的正式引入 交叉熵其实就是两个分布的接近程度。 为什么不用均方差损失函数 当使用均方差的时候，在某些特定情况下微分值会很小（图中f(x)=0的时候就是） 这就会导致梯度消失频繁发生,难以收敛. 判别模型 vs 生成模型 出发点不同,模型就会发生变化,最终结果也是不一样的. (右侧的生
[学习日志]深度学习-李宏毅 可解释的机器学习
gjh1716718326的博客
01-27 128
关于可解释 炼丹术终究是炼丹术 只要让皇上满意,就是好解释 真正的解释可能并不太可能 局部解释 Local Explanation 经典问题:你为什么觉得这张图是猫? 也就是说我们希望知道,输入的各个部分的重要性(对最终结果的影响大小). 可以用控制变量的方式来进行解释,两种方法(灰色块热区图,微元显著图) 梯度饱和 Gradient Saturation 全局解释 Global Explanation 激活最大化 图片生成 用一个模型去解释另一个模型 用一个可以容易被解释的模型 解释 另一个不容
李宏毅2021&2022机器学习
热门推荐
啥都生的博客
03-01 5万+
重磅须知  2022仅在2021基础上进行小补充，2021内容变成了前置知识，UP会在视频标题打上2022的标签；    2021资料已打包装进百度云盘，ppt/pdf支持直链下载。    （选修）To Learn More是21/22通用的，放入云盘：提取码：sr0o 更新日志 日期 项目 2021/03/16 更新HW1、HW2，同步更新助教范例 2021/03/26 更新HW3、HW4课件、代码、范例；release页发布HW1-HW4数据 2021/04/01 更新选修.
深度学习-李宏毅-English.pptx
05-15
优质的深度学习资料 一天搞懂深度学习
深度学习-李宏毅
09-25
台大教授李宏毅全套深度学习讲义,是深度学习爱好者入门的完美资料 值得大家拥有 者入门的完美资料 可以配合视频一起学习
一天搞懂深度学习--李宏毅.zip
05-16
一天搞懂深度学习--台湾大学电机工程学助理教授李宏毅讲义pdf
一天搞懂深度学习-李宏毅
05-20
深度学习《1天搞懂深度学习》，300多页的ppt，台湾李宏毅教授写的，很系统。
李宏毅2023春季机器学习课程
啥都生的博客
02-25 3307
满足该课程所需的所有数据
【NLP】huggingface阶段性学习小结
发现问题，并解决问题，批判性思维
10-24 1798
文章目录一、资源推荐二、菜鸡笔记三、小结四、下一阶段五、特别鸣谢 一、资源推荐 （1）牛逼的huggingface：https://huggingface.co/transformers/preprocessing.html （2）读论文，如ACL会议论文：https://aclanthology.org/ （3）进击的BERT：https://leemeng.tw/attack_on_bert_transfer_learning_in_nlp.html （4）学习基础后，应该上手项目练习：常见26种NLP
RK3568笔记二十八：CRNN车牌识别部署
05-31 678
1、训练平台：Autodl2、运行板子：ATK-DLRK3568。
遥感图像的深度学习的任务类型
最新发布
weixin_42605076的博客
05-31 439
遥感图像的深度学习任务涉及广泛的应用领域和技术方法，通过使用卷积神经网络（CNN）、生成对抗网络（GAN）等先进的深度学习模型，能够有效提升遥感数据的处理和分析能力，支持各类环境监测、资源管理、灾害应对等实际需求。
【深度学习】第2章
m0_37932764的博客
05-29 502
字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。如果关系是非线性的，即便两个变量具有-一对应的关系，Pearson相关性也可能会接近0。皮尔森相关系数高，相关性高——>去掉特征之间相关性高的&目标值相关性较小的。其基本任务是确定句子的句法结构或者句子中词汇之间的依存关系。6.TF-iDF词条权重计算?方差小，相似度高——>去掉相似度较高的。三、特征处理（特征缩放、选择及降维）2.特征值的归一化（规范化）（2）主成分分析（PCA）（3）基于森林的特征选择。
李宏毅深度学习PPT
03-20
1. 李宏毅深度学习PPT的内容涵盖了深度学习的基础知识和应用领域，包括神经网络、卷积神经网络、循环神经网络、生成对抗网络等。 2. 这些PPT以简洁清晰的方式呈现了深度学习的核心概念和算法原理，帮助初学者快速...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值