李宏毅教授Attention课程笔记总结

最新推荐文章于 2023-09-22 20:45:00 发布
VIP文章 最新推荐文章于 2023-09-22 20:45:00 发布
阅读量1.4k 收藏
点赞数 1
分类专栏： 深度学习 文章标签： 注意力机制 总结笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42825220/article/details/97297713
版权

Generation

可以用RNN生成文本、图片(grid lstm)、视频、手写字、语音

 

*grid lstm

 

Conditional generation：不是随机产生，而是有情境地产生

应用：image caption/machine translation/chat-bot

Encoder和Decoder的参数可以一样或者不一样，当参数一样时，参数比较少，比较不容易过拟合，但是如果有足够的数据，那么也可以参数不一样

这也就是seq2seq

 

最低0.47元/天 解锁文章
lueluewaaa
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
李宏毅机器学习笔记
01-18
李宏毅机器学习笔记，文档文件，笔记全面，总结充分，仅供学习
【机器学习】李宏毅——自注意力机制(Self-attention)
FavoriteStar的博客
09-08 1790
【机器学习】李宏毅——自注意力机制(Self-attention)
【李宏毅 | 深度学习】自注意力机制（Self-attention）
最新发布
Luo_LA的博客
09-22 805
但是在上图的例子中，一句话中的两个saw是不同词性的，但是通过相同的网络得到输出没有理由是不一样的，因为输入的向量完全一样。如果增加输入的复杂度，例如输入的是多个向量，或者每次输入的向量的个数是会改变的。例如，在文字处理中，如果把一句话中的每一个单词作为一个向量，那么一个输入就会有多个向量，又因为不同样本的句子长度不同，所以每次输入的向量的个数也是会改变的。首先 Self-attention 的输入是多个向量，这些向量可能是一整个神经网络的输入，也可能是某个隐藏层的输出，所以在这里用。
【李宏毅】自注意力机制self-attention
SofiaT的博客
04-23 803
自注意力机制网课笔记
李宏毅《深度学习》- Self-attention 自注意力机制
0202zc 的博客
10-20 1万+
无论是预测视频观看人数还是图像处理，输入都可以看作是一个向量，输出是一个数值或类别。然而，若输入是一系列向量（序列），同时长度会改变，例如把句子里的单词都描述为向量，那么模型的输入就是一个向量集合，并且每个向量的大小都不一样： 将单词表示为向量的方法：One-hot Encoding（独热编码）。向量的长度就是世界上所有词汇的数目，用不同位的1（其余位置为0）表示一个词汇，如下所示：但是它并不能区分出同类别的词汇，里面没有任何有意义的信息。另一个方法是Word Embedding：给单词一个向量，这个向量
李宏毅老师Self-Attention，注意力机制的实现过程学习笔记
qq_53724305的博客
03-30 1495
问题引入： 考虑问题：输入一堆词向量，要求输出他们每个单词的词性。例如“ I saw a saw. ”我们可以很明显地看出第二个”saw“为名词，但是若是普通的seq2seq的网络，每个向量单独经过FC层，网络很难判断第一个”saw“和第二个”saw“之间的差异，那么如何才能使网络考虑上下文信息呢？ 第一个解决办法是，将词向量连接到每个邻近的FC层，来获取更多的相关信息。 这种方法相当于给每个FC层一个window的资讯，让其考虑相邻向量之间的信息。但是，这种方法明...
李宏毅老师2021深度学习课程笔记.pdf
10-08
2021春季李宏毅老师深度学习课程笔记（神经网络训练不起来处理方法+分类的数学原理）
李宏毅深度学习课程中的笔记
08-08
适用于初学deeplearning的初学者，方便笔记
李宏毅学习笔记的PDF版
04-22
李宏毅老师的机器学习视频是机器学习领域经典的中文视频之一，也被称为中文世界中最好的机器学习视频。李老师以幽默风趣的上课风格让很多晦涩难懂的机器学习理论变得轻松易懂，并且老师会通过很多有趣的例子结合机器...
台大李宏毅教授深度学习视频教程与PPT
03-13
深度学习视频教程，中文授课，带有PPT，是难得的中文授课的深度学习视频！！
李宏毅【课件PPT】
12-07
此压缩包包含李宏毅老师的机器学习所有课件，都是在李宏毅老师个人主页下载整理的，建议配合B站李宏毅老师的Machine Learning 视频一块使用，里面的公式最好推导一下，效果更佳！
决胜AI-深度学习系列实战150讲
05-21
深度学习系列课程从基本的神经网络开始讲起，逐步过渡到当下流行的卷积与递归神经网络架构。课程风格通俗易懂，方便大家掌握深度学习的原理。课程以实战为导向，结合当下热门的Tensorflow框架进行案例实战，让同学们上手建模实战。对深度学习经典项目，从数据处理开始一步步带领大家完成多个项目实战任务！
Attention入门
weixin_43321444的博客
05-09 360
学习链接 https://blog.csdn.net/jinyuan7708/article/details/81909549 学习链接：http://www.cnblogs.com/LittleHann/p/9722779.html https://github.com/philipperemy/keras-attention-mechanism https://github.com/keras...
attention简单实现
入坑AI
04-11 1万+
keras还没有官方实现attention机制，有些attention的个人实现，在mnist数据集上做了下实验。模型是双向lstm+attention+dropout，话说双向lstm本身就很强大了。 参考链接:https://github.com/philipperemy/keras-attention-mechanism https://github.com/keras-team/kera
详解tensorflow中的Attention机制
起风之后，只剩沙丘
03-13 3万+
  最近在做基于attention的唇语识别，无奈网上关于tf中attention的具体实现没有较好的Demo，且版本大多不一致，琐碎而且凌乱，不得不自己翻开源码，阅读一番，收获颇丰，现分享与此。   PS：本文基于tensorflow-gpu-1.4.0版本，阅读前，读者最好对Attention mechanism有一定的了解，不然可能会一头雾水。   tf-1.4.0中，关于attenti...
【深度学习】04-02-自注意力机制多种变形-李宏毅老师21&22深度学习课程笔记
星辰不问
08-23 1363
【深度学习】05-02-自注意力机制多种变形-李宏毅老师21&22深度学习课程笔记
浅谈Attention-based Model【原理篇】
热门推荐
wuzqChom的博客
07-22 5万+
转载请标明出处：http://blog.csdn.net/wuzqchom/article/details/75792501 计划分为三个部分： 浅谈Attention-based Model【原理篇】（你在这里） 浅谈Attention-based Model【源码篇】 浅谈Attention-based Model【实践篇】 0. 前言 看了台大的李宏毅老师关于......
[DL笔记] Transformer介绍 Attention机制 李宏毅深度学习
VIPsucks的博客
12-19 1474
Transformer 李宏毅深度学习 tags: Deep Learning, Transformer, , seq2seq, Attention 笔记内容参考于：https://youtu.be/ugWDIIOHtPA 原文link（我最初的笔记，图较多，建议阅读，要fq ^.^）： https://hackmd.io/@abliu/BkXmzDBmr RNN： 是最经典的处理Sequen...
Self-attention详解——台大李宏毅教授课程
EmoryChang的博客
04-19 237
李宏毅2020机器学习笔记attention
08-12
在李宏毅的2020机器学习笔记中，有一个关于注意力机制(Attention)的部分。这部分内容主要介绍了生成模型(Generation)、注意力(Attention)、生成的技巧(Tips for Generation)以及指针网络(Pointer Network)。在生成...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值