Self-attention（上）---李宏毅ML课程学习笔记

最新推荐文章于 2024-09-10 12:36:53 发布
最新推荐文章于 2024-09-10 12:36:53 发布
阅读量169 收藏
点赞数 3
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51018203/article/details/136353895
版权
例子：对句子中的每个单词进行词性分析，要结合上下文才能分析准确
方案一：让全连接网络每个神经元的输入window变大，输入前后多个词汇（向量）
缺点：无法完成要考虑整个sequence的任务

 

 

方案二：加入自注意力模块，加了黑边的向量是考虑了整个sequence的资讯

 

b1对应上一图中加了黑边的向量，下面讲如何得到的

 

ai是向量，w是过渡矩阵，黑点是做点积，α‘是attention score

 

seekerW
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
李宏毅自注意力机制(self-attention)和Transformer详解笔记
qq_45607888的博客
01-11 1254
在self-attention中，a1与a2,a3,a4分布计算相关性，把a1乘以wq得到q1（q有个名字叫query），a2乘以wk得到k2（k称之为key），然后q1与q2做点积得到α1,2（老师课程中说的是inner product，推测是口误了），α1,2称为a1与a2的attention score，a3与a4同理得到a1,3和a1,4，self-attention的输入是一串的vector，这些vector可能是整个网络的输入，也可能是某个隐藏层的输出，每个b向量都是考虑所有的a向量而生成的。
Self-Attention-Keras：自我关注与文本分类
02-03
自关注与文本分类 本仓库基于自关注机制实现文本分类。...$ python imdb_attention.py 比较结果 算法 训练时间（每纪元） Val准确率 Val损失 所需Epoch数 LSTM 116秒 0.8339 0.3815 2 双向LSTM
详解Transformer中Self-Attention以及Multi-Head Attention
热门推荐
霹雳吧啦Wz
06-11 13万+
原文名称：Attention Is All You Need 原文链接：https://arxiv.org/abs/1706.03762 最近Transformer在CV领域很火，Transformer是2017年Google在Computation and Language上发表的，当时主要是针对自然语言处理领域提出的（之前的RNN模型记忆长度有限且无法并行化，只有计算完tit_iti​时刻后的数据才能计算ti+1t_{i+1}ti+1​时刻的数据，但Transformer可以）。在这篇文章中作者提出了S
一文搞定自注意力机制（Self-Attention）
markconca的博客
10-25 4万+
1 Self-Attention的概念2 Self-Attention的原理3 Self-Attention的作用4 Self-Attention的问题。
Self -Attention、Multi-Head Attention、Cross-Attention
大鹏的专栏
11-24 3万+
Self -Attention是一端的注意力机制。Cross-Attention是两端的注意力机制，然后合起来。
李宏毅机器学习学习笔记：Self-attention
weixin_44455827的博客
11-29 656
李宏毅深度学习课程笔记——self-attention
神经网络学习小记录77——深入浅出Self-Attention自注意力机制与Transformer模块
Bubbliiiing的学习小课堂
01-13 1万+
Self-Attention自注意力机制是Transformer模块的重要组成部分，是截至到现在（2024年1月6日）大大小小网络的标配，无论是LLM还是StableDiffusion，内部都有Self-Attention与Transformer，因此，一起来学学哈哈。
（2021李宏毅）机器学习-Self-attention
顾道长生的科研笔记
10-25 2318
文章目录解决的问题：Attention函数Dot-product（推荐）AdditiveSelf-Attention计算过程从矩阵乘法角度来看Self-AttentionMulti-head Self-AttentionPositional EncodingOthers 背景： 全连接网络的输入是一个向量，但是 当输入是一个变长的向量序列时 ，就不能再使用全连接网络了。这种情况 通常可以使用卷积网络或循环网络进行编码来得到一个相同长度的输出向量序列 。 基于卷积或循环网络的序列编码都是一种局部的编码方.
深度学习笔记-self-attention
qq_46460131的博客
10-27 643
注意力机制
自注意力机制(Self-Attention)
Michale_L的博客
08-27 9万+
自注意力机制
一张图看明白Self-Attention机制
Rayone_的博客
04-13 1420
Illustrated: Self-Attention A step-by-step guide to self-attention with illustrations and code 这篇文章非常通俗易懂，虽然是英语，很容易就能够看懂，我就不给大家翻译了。 我看了很多self-attention的内容，目前来说这篇文章写的非常清晰，所以我搬到了CSDN上，能够帮助更多人理解Self_Attention。 原文博文外网地址：Illustrated: Self-Attention 文章目录Illust.
Self-Attention与Transformer
01-07
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的...输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-attention中实现了信息的交互，分别得到了z1,z2z_{1},z_{2}z1​,z2​，将z1,z2
global-self-attention-network:Pytorch实施的全球自我关注网络，这是视觉任务的全关注主干
03-31
全球自我关注网络 ，该提出了一种全关注的视觉主干，该主干比具有较少参数和计算的卷积可以获得更好的结果。 他们使用先前发现的，进行了少量修改以获取更多收益（对查询不进行标准化），并与相对位置注意相对，并...
【提效工具】AI工作流的1-10个实际落地场景
万物皆有灵
09-09 418
在这个快速发展的数字时代，人工智能（AI）正在以惊人的速度改变我们的工作方式。无论你是开发者、教育工作者还是内容创作者，AI工作流提示词助手都能为你提供无与伦比的支持。今天，我们将深入探讨，20个实际落地场景，帮助你更好地理解如何利用这些工具提升工作效率和创造力。💡。
基于人工智能的音乐情感分类系统
stm32d1219的博客
09-06 805
音乐作为一种强烈的情感表达方式，不同的音调、节奏和和声传递着不同的情感信息。通过人工智能技术，能够自动识别音乐中的情感，为用户提供个性化的音乐推荐或情感分析服务。通过使用MFCC特征提取与神经网络分类算法，音乐情感分类系统可以有效地分析音乐中的情感信息，并根据不同情感对音乐进行分类。随着深度学习技术的进一步发展，音乐情感分类系统的准确性和应用范围将得到进一步提升。音乐情感分类是通过对音乐音频信号进行分析，识别出音乐传递的情感，如“愉快”、“悲伤”、“愤怒”等。问题讨论，人工智能的资料领取可以私信！
第九届“创客中国”生成式人工智能（AIGC）中小企业创新创业大赛圆满落幕
luojiezong的博客
09-09 278
江西省工业和信息化厅党组成员、副厅长郭启东表示,“创客中国”始终秉持“围绕产业链,部署创新链,配置资金链,培育人才链”的宗旨,为中小企业和创客搭建了广阔平台。江西深刻认识到以人工智能为代表的产业变革的发展方向,努力推动人工智能等先进产业加速发展,以本次大赛为契机,优化创新生态,强化政策引导,加强人才培养,深化国际合作,加大对中小企业创新发展的支持力度,营造更加开放包容的创新环境,推动中小企业创新发展。南昌市委常委、市委秘书长、办公室主任赵捷;经过初赛、复赛的严格筛选,21个杰出项目脱颖而出,荣获赛事奖项。
深度学习算法，该如何深入，举例说明
最新发布
liyy614的博客
09-10 255
深度学习算法的深入学习可以从理论和实践两个方面进行。理论上，深入理解深度学习需要掌握数学基础（如线性代数、概率论、微积分）、机器学习基础和深度学习框架原理。实践上，可以通过实现和优化深度学习模型来提升技能。
图神经网络（2）预备知识
m0_63860007的博客
09-07 665
对于接触过数据结构和算法的读者来说，图并不是一个陌生的概念。如果图里的边不仅表示连接关系，而且具有表示连接强弱的权重，则这个。从图的某个顶点出发，沿着图中的边访问每个顶点且只访问一次，这叫作。在图上模拟一个热扩散的过程，φ(t)是图上每个顶点的热量分布，热量传播。如果一个图的每个边都有一个方向，则称这个图为有向图。图的同构指的是两个图完全等价。很显然，这个大于等于0的，所以L是半正定的。拉普拉斯矩阵的另一个重要作用是作为图上的离散拉普拉斯算子。然地，我们把拉普拉斯算子的特征函数换成拉普拉斯矩阵的特征。
蚂蚁SEO｜AI养站程序是什么｜蚂蚁蜘蛛池
2301_77658317的博客
09-05 642
总之，AI 养站程序是网站运营的未来趋势，它将为网站运营者带来更多的机遇和挑战。传统的网站运营需要大量的人力和时间投入，而 AI 养站程序可以自动完成许多繁琐的任务，如内容创作、关键词优化等，大大提高了运营效率。使用 AI 养站程序可以减少人力成本和时间成本，同时还可以提高网站的运营效果，为网站带来更多的收益。选择精准度高的 AI 养站程序，能够生成高质量的内容和进行准确的关键词优化，提高网站的排名和流量。同时，随着搜索引擎算法的不断升级，AI 养站程序也将不断适应新的算法要求，提高网站的优化效果和排名。
李宏毅2021机器学习课程：self-attention技术解析
"李宏毅老师的2021年机器学习课程讲义——self-attention" 在深度学习领域，self-attention机制是近年来受到广泛关注的一种技术，尤其在自然语言处理（NLP）和序列建模任务中表现突出。该机制首次在Transformer模型...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值