P11机器学习--李宏毅笔记（Transformer Encoder）

最新推荐文章于 2024-05-08 21:29:03 发布
最新推荐文章于 2024-05-08 21:29:03 发布
阅读量406 收藏
点赞数 1
分类专栏： 机器学习李宏毅 文章标签： 机器学习 transformer 人工智能 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013373155/article/details/127395952
版权

目录

Encoder

residual connection 

Layer normolization 

Fully Connect network 

Encoder架构 

改进

Transformer也是seq2seq模型的一种，seq2seq模型有着广泛的运用，例如机器翻译，语音辨识，其实大多数问题都能转换成QA（Question Answer）然后用seq2seq解决。

Encoder

Encoder就是整体这一个架构，一个input然后经过Block然后输出再经历Block，下面我们来介绍每个Block里面的内容

residual connection 

将输入传入self-attention，然后输出的α考虑了每一个输入然后再加上它的input这就叫residual connection 

Layer normolization 

将rasidual connection后的值传入norm层，norm层采用的是Layer Normlization，这个和我们之前将的feature normolization不一样，feature normolization是把不同feature的同一dimension拿来算，而Layer Normlization是把同一feature的不同dimension拿来算。

这里的上面写错了，应该是（x-m）/σ

Fully Connect network 

 

把Layer normlization后的结果输出到Full Connect network里然后再进行一次rasidual connect再加起来传入到一个Layer normolization里取然后完成了block的输出

Encoder架构 

这里就是先输入一个然后经历Emd然后加上位置信息传入多头注意力然后经过一个Rasidual +Layernorm，然后输入到FC然后再做Rasidual +Layernorm。

改进

当然现在不是最好的，你可以进行改进

比如说在每一层input前加layer norm。。。。 

温涛
关注
专栏目录
李宏毅老师《机器学习》课程笔记-5 Transformer
宁萌Julie的博客
06-05 1195
详细介绍大名鼎鼎的 Transformer 。
李宏毅老师-transformer part1
weixin_46675905的博客
05-05 132
transformer Transformer是一个sequence to sequence（seq2seq）的模型 输入一个序列，输出一个序列。这两个序列的长度、关系是由模型自己确定的。 為什麼我们不直接先做一个语音辨识,再做一个机器翻译,把语音辨识系统跟机器翻译系统,接起来就直接是语音翻译？ 那是因为世界上有7000种语言，这7000种语言中超过半数是没有文字的。 对于这些语言，根本就没有办法做语音辨识。 但我们有没有可能对这些语言,做语音翻译,直接把它翻译成,我们有办法阅读的文字呢？ 一个很好的
李宏毅老师机器学习 第五节 Transformer
weixin_45668166的博客
05-02 683
1. 什么是Transformer？Transformer是一种sequence to sequence的神经网络模型架构，可以处理序列问题，相比于CNN和RNN，具有更好的并行处理能力。Transformer由encoder和decoder组成，采用了self-attention机制，可以自适应学习每个位置和其他位置之间的依赖关系。此外，Transformer还采用了残差连接和层归一化等技术，用于加速模型的训练和提高模型的泛化能力2. Transformer与RNN相比，优点是什么？
【Transformer】——李宏毅机器学习笔记
久蔡合子
12-21 1554
Transformer
李宏毅2021机器学习笔记——Transformer
Alex_SCY的博客
08-06 1379
Transformer_P1_Encoder 变形金刚的英文就是Transformer,那Transformer也跟我们之后会,提到的BERT有非常强烈的关係,所以这边有一个BERT探出头来,代表说Transformer跟BERT,是很有关係的 Sequence-to-sequence (Seq2seq) Transformer就是一个,Sequence-to-sequence的model,他的缩写,我们会写做Seq2seq,那Sequence-to-sequence的model,又是什麼呢 我们之前在讲
NLP-D6-李宏毅机器学习L3hw-L4self-attention-L5seq2seq(Transformer)
weixin_45252975的博客
04-29 1770
昨天的进度被一些意外的事情打乱了，而且搞得心烦意乱，但是没关系！！！留得青山在，不怕没柴烧，昨天第一次给同学讲解ML，发现了自己不牢固的知识，感觉很好！ ----0553 开始预习hw3的slides&&看课。 ----------0609 看了作业要求，感觉很干！！！打算边吃饭边看。 ------0628吃完了，产生了问题 1、交叉验证不会使模型提前见到训练集嘛？ 我自己的想法：我们本来做的就是用val调model，交叉验证只不过是另一种利用val的方法。 ------0710大概看完了，
李宏毅机器学习--self-supervised：BERT、GPT、Auto-encoder
iwill323的博客
10-25 2282
李宏毅机器学习--self-supervised--BERT和GPT
NLP-D7-李宏毅机器学习---X-Attention&&GAN&BERT&GPT
weixin_45252975的博客
05-01 518
—0521今天4:30就起床了！真的是迫不及待想看新的课程！！！ 昨天做人脸识别系统的demo查资料的时候，发现一个北理的大四做cv的同学，差距好大！！！我也要努力呀！！不是比较，只是别人可以做到这个程度，我也一定可以！！！要向他学习！！！ 开始看课程啦！ -----0753看完了各种attention，由于attention自己计算的限制，当N很大的时候会产生计算速度问题，从各种不同角度（人工知识输入、矩阵计算顺序，向量rank，聚类、用网络决定哪些位置计算Attention【这里虽然用了一个FC（你也许
李宏毅机器学习：self-attention（自注意力机制）和transformer及其变形
iwill323的博客
10-20 5659
self-attention，transformer及变形
李宏毅2021春机器学习课程笔记——Transformer模型
sykai1的博客
05-12 1242
本文作为自己学习李宏毅老师2021春机器学习课程所做笔记，记录自己身为入门阶段小白的学习理解，如果错漏、建议，还请各位博友不吝指教，感谢！！
Transformer（李宏毅2022）
linyuxi_loretta的博客
10-18 2458
（作业五）变形金刚的英文就是Transformer,那Transformer也跟我们之后会,提到的BERT有非常强烈的关係,
李宏毅自注意力机制(self-attention)和Transformer详解笔记
qq_45607888的博客
01-11 1287
在self-attention中，a1与a2,a3,a4分布计算相关性，把a1乘以wq得到q1（q有个名字叫query），a2乘以wk得到k2（k称之为key），然后q1与q2做点积得到α1,2（老师课程中说的是inner product，推测是口误了），α1,2称为a1与a2的attention score，a3与a4同理得到a1,3和a1,4，self-attention的输入是一串的vector，这些vector可能是整个网络的输入，也可能是某个隐藏层的输出，每个b向量都是考虑所有的a向量而生成的。
Transformer的改进
Neways的博客
12-21 3165
Transformer的改进Transformer简介Efficient Transformer简介Fixed PatternsCombination of PatternsLearnable PatternsMemoryLow-RankKernelsRecurrence性能比较 Transformer简介 Transformer的核心是self-attention，通过计算输入序列中元素与其他所有元素的相关性来获取加权得分。但是这一步骤需要 O(n2)O(n^2)O(n2)的时间和空间复杂度，因为需要两个
计算机视觉中的transformer模型创新思路总结
qq_29462849的博客
12-05 3035
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨仿佛若有光来源丨CV技术指南编辑丨极市平台导读本文回顾了ViT的结构，总结了计算机视觉中的transformer的主要改进思...
Transformer 的结构改进与替代方案
hellozhxy的博客
03-09 1243
自从 Transformer 结构被提出以来，以 BERT 为代表的 Encoder 模型，以 GPT 为代表的 Decoder 模型，以 ViT 为代表的 CV 模型，都烜赫一时。时至今日，几乎所有的 LLM 也都是 Transformer 结构，尽管不时也会有新的结构被提出来，但 Transformer 的江湖地位仍然无可撼动。希望通过以上问题的思考和讨论，能够帮助我们更好地使用Transformer、理解Transformer、优化Transformer和改进Transformer。
李宏毅2020机器学习深度学习(8) Seq2seq 作业详解
梆子井欢喜坨的博客
05-09 1471
对应课程笔记:Conditional Generation by RNN&Attention
李宏毅transformer学习总结（二）Seq2Seq Model
weixin_55672590的博客
10-13 462
在我的第一篇徐熙总结中，提出了self-attention机制，的基本原理和概念，这篇文章将会介绍Seq2Seq的model。 什么是Seq2Seq呢，就是你的输入是一串序列，输出也是一串序列，但是这串序列的个数与你的输入是没有直接关系的，比如说语音转文字，加入我们的输入是It’s a funny today，我们希望得到的输出是’今天真有趣‘，这个输入和输出是没有直接关系的。 Seq2Seq可以用来处理语音文字的转换、实现多分类任务（就是一个object身上有很多标签，比如我’有头发‘，也’有睫毛‘之类，
[公开课学习]台大李宏毅-自注意力机制 & Transformer
zhangyifeng_1995的博客
05-08 1018
存在一些问题，每个向量有一个输出结果，被称为不知道有多少输出结果，被称为seq2seq。
P11机器学习--李宏毅笔记（Bactch normolization 让error surface 变好）
u013373155的博客
10-17 514
一、怎么变成好的error face 二、Feature Normalization 三、在深度学习中再使用Feature Normalization 四、batch normolization
李宏毅机器学习HW5-Transformer数据
最新发布
08-11
李宏毅的机器学习课程中提到的HW5（作业5），可能涉及到Transformer模型在自然语言处理任务中的应用。Transformer是一种基于自注意力机制的深度学习模型，最初由Google在2017年提出的BERT（Bidirectional Encoder ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值