李宏毅教授Attention课程笔记总结

最新推荐文章于 2024-04-29 15:35:29 发布
最新推荐文章于 2024-04-29 15:35:29 发布
阅读量1.5k 收藏
点赞数 1
分类专栏： 深度学习 文章标签： 注意力机制 总结笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42825220/article/details/97297713
版权
本文总结了李宏毅教授关于注意力机制的课程，包括如何使用RNN进行文本、图片等的生成，强调了Attention在条件生成中的作用，特别是其动态选择信息的能力。在seq2seq模型中，Encoder和Decoder的参数可以共享或独立，Attention则提供了一种避免信息压缩的方法。此外，还探讨了Attention在语音识别和image caption中的应用，以及Memory Network和Neural Turing Machine的概念，它们通过不同的方式利用和修改memory来增强模型的学习能力。
摘要由CSDN通过智能技术生成

Generation

可以用RNN生成文本、图片(grid lstm)、视频、手写字、语音

 

*grid lstm

 

Conditional generation：不是随机产生，而是有情境地产生

应用：image caption/machine translation/chat-bot

Encoder和Decoder的参数可以一样或者不一样，当参数一样时，参数比较少，比较不容易过拟合，但是如果有足够的数据，那么也可以参数不一样

这也就是seq2seq

 

<

最低0.47元/天 解锁文章
lueluewaaa
关注
专栏目录
李宏毅老师《机器学习》课程笔记-6 GAN
宁萌Julie的博客
06-16 1170
介绍GAN(Generative Adversarial Model)。
李宏毅 Attention
tangweirensheng的博客
10-05 276
考虑整个 sequence长度的内容 可以多层 self attention叠加 attention is all you need 1, dafada alpha : attention score代表两个输入的关联性 b1~b4并行产生 Muti-head self attention Positional Encoding No position information in self attention each...
GAN 李宏毅 课程笔记（一）
hn_lgc的专栏
09-01 429
Generator 不用想得太复杂，就是一个函数。函数的形式可以是NN。 输入一个向量，这个向量可以看成一个控制向量，用向量中的元素表示生成对象的属性。生成对象可以是不同的东西，图片矩阵，文字序列都可以，需要具体控制。 这可以弄出一个有趣的应用，通过改变输入向量，生成人脸渐变的中间图像。 比如用向量中的第一个元素表示头发的长度，导数第二个表示头发的颜色。 一样的，判别器也可以看成一个函数，可以是NN。它的输入是前面生成的对象，比如一张图片。输入是一个数字，就是生成对象的逼真程度，符合程度。 GAN的原
李宏毅课程笔记（常见架构）
LittleDragorse的博客
05-14 171
一、CNN 3*3卷积核，边缘补值，共享参数（filter） Convolutional Layer（卷积层） 产生Feature Map Pooling Layer（池化层） 本身没有参数，是为了把图片变小减少运算量 Max Pooling：在n*n个值中选择最大的那个作为代表 Flatten 把矩阵拉直成一个向量 Spacial Transformer Layer 二、Attention word embedding 每个输入一个输出Sequence Labeling、所有输入一个输出、Seq2Se
李宏毅深度学习课程笔记（一）——Self-attention和Transformer
Rome was not built in a day.
03-24 1672
李宏毅深度学习课程笔记（一）——Self-attention和Transformer1. 前言2. Self-attention 视频课程链接：https://www.bilibili.com/video/BV1Xp4y1b7ih? 1. 前言 在过去的使用场景中，模型的输入通常只有一个单独的向量，而模型的输出则是预测的数值或类别，如上图。 但是假设输入的是一排向量（或序列），且向量的长度不是固定的，例如声音信号、语句、基因序列等，如上图。而对于模型输出而言，可以分为如下图所示的三种类型，即输入输出序列
李宏毅教授Capsule课程笔记总结
weixin_42825220的博客
07-25 489
Capsule 取代neuron neuron输出一个值，capsule输出一个向量 neuron只能检测某一特定的模式，capsule可以检测一类模式 其中向量v的每一维代表模式的一个特性 Squash相当于进行挤压，只会改变长度而不会改变方向 c1 和c2 不是学出来的，而是由测试阶段决定的 有点像排除离群点 训练的时候还是需要后向传播 NN是用...
李宏毅老师Transformer课程笔记 [Attention is all your need]
Focus
04-08 352
Transformer 会议：NIPS 2017 论文：https://arxiv.org/pdf/1706.03762.pdf input是x1～x4x_1～x_4x1​～x4​，经过embending之后得到a1～a4a_1～a_4a1​～a4​，输入到self-attention中。对于每一个input，都乘上三个不同的权值矩阵，得到三个不同的向量q,k,vq,k,vq,k,v。 qqq：query (to match others) qi=Wqaiq^i=W^qa^iqi=Wqai kkk：k
李宏毅2020机器学习笔记attention
08-12
在李宏毅的2020机器学习笔记中，有一个关于注意力机制(Attention)的部分。这部分内容主要介绍了生成模型(Generation)、注意力(Attention)、生成的技巧(Tips for Generation)以及指针网络(Pointer Network)。在生成...
李宏毅老师《机器学习》课程笔记-4.1 Self-attention
宁萌Julie的博客
05-27 867
介绍 transformer, BERT 中都用到的 Self-attention.
李宏毅学习笔记的PDF版
04-22
github上有相关的开源资源！！！！！ 李宏毅老师的机器学习视频是机器学习领域经典的中文视频之一，也被称为中文世界中最好的机器学习视频。李老师以幽默风趣的上课风格让很多晦涩难懂的机器学习理论变得轻松易懂，并且老师会通过很多有趣的例子结合机器学习理论在课堂上展现出来，并且逐步推导深奥的理论知识。比如老师会经常用宝可梦来结合很多机器学习算法。对于想入门机器学习又想看中文讲解的人来说绝对是非常推荐的。
Self-Attention模型(李宏毅)
qfikh的博客
02-27 792
李宏毅关于self-attention
【笔记】李宏毅机器学习与深度学习课程笔记——神奇宝贝分类 案列讲解入门
m0_46103905的博客
04-22 663
上一节课讲的是预测，这节课讲的是分类。主要是拿神奇宝贝的分类举例子，通过这节课，了解了高斯分布在机器学习中的应用、了解了升维的操作以及减少参数以减少误差的trick。
李宏毅老师2021深度学习课程笔记
cyy0789的博客
09-29 653
神经网络的连接方式是由自己来设定的，常见的有如下几种： 1.全连接前向传递神经网络 误差反向传播是一种有效计算偏微分的方法，提供这种方法的有如下若干的工具箱。 我们简化神经网络结构如下，来说明反向传播原理，z对w1 w2求偏导的结果分别是x1和x2。 上图中，不难理解，一个权重直接连接的输出对该权重的微分就是所直接连接的输入的值。像这样，每一次微分的值都是按照从输入到输出的前向顺序计算出每一层的输入值，以此来确定输出对权重的导数，这样的过程就叫做前向传播。...
李宏毅2020深度学习课程笔记：一、基础知识
lizhaoxin666的博客
12-31 305
李宏毅2020深度学习课程笔记：一、基础知识机器学习基础知识类别Regression线性模型如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 机器学习基础知识 类别 机器学习共有三个分支类别，分别是Regression、Classification和Generation：
【李宏毅】自注意力机制self-attention
SofiaT的博客
04-23 863
自注意力机制网课笔记
李宏毅机器学习笔记
最新发布
weixin_49119476的博客
04-29 1846
m和sigma都考虑了过去所有的gradient。区别：momentum主要考虑方向sigma主要考虑大小momentus是为了增加历史运动的惯性，RMS是为了缓和步伐的大小，变得更平缓network弹性逐渐变小。receptive field + parameter share 即为 convolutional layer。使用卷积层的神经网络即为CNN。CNN有比较大的bias，但是是专门为影像设计，所以在这方面做的很好。
李宏毅-机器学习-RNN-笔记
qq_41789315的博客
10-03 956
李宏毅-机器学习课程-笔记
李宏毅自注意力机制笔记 (Self-attention)
路边的石头
05-10 1172
Vector Set as Input What is the output 1.Each vector has a label. 2.The whole sequence has a label. 3.Model decides the number of labels itself. Sequence Labeling 太孤立了把相邻向量串进去喂到全连接网络 （window） Self-attention 或是下边这样 最知名的文章 relevant 计算
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值