李宏毅-Transformer&Meta-Learning

已于 2023-04-20 21:18:24 修改
阅读量232 收藏
点赞数
分类专栏： ai 文章标签： transformer 深度学习 人工智能
于 2022-11-15 23:19:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/juli_eyre/article/details/127371258
版权

Self-Attention Layer: 能实现和RNN相同的效果
在这里插入图片描述
attention：吃query+key，输出一个分数（衡量他两的匹配度，相似度）。再加权和
李宏毅-Transformer-PPT
怎样理解‘可并行’：向量到矩阵
在这里插入图片描述
Multi-head Self-attention: 不同head关注的特征不同。和CNN多个filter的思想同。
Self-attention的缺点：没有考虑输入sequence的顺序，邻居和天涯是相同的。
在这里插入图片描述
W^P是参数，但是通常是…

Transformer:

Add & Norm: 将Multi-head Self-attention的输入和输出相加，然后做Layer Normalization

BN: 同一个batch不同data同样的dimension做。向量之间
LN：不需要考虑batch。各个不同dimension mean为0，var为1。向量内部。常和RNN大牌
在这里插入图片描述

在这里插入图片描述
有了transformer可以硬train生成一个超级长的序列，如维基百科上的文章

在这里插入图片描述
在这里插入图片描述
下面自监督学习不需要标签，但是效果更好
multi-task learning：把好多资料（训练数据集）合到一起，共同训练一个任务

c1assy
关注
专栏目录
【ECCV 2022】《Transformers as Meta-learners for Implicit Neural Representations》
Iron_lyk Blog
11-30 948
与像素、体素和网格等离散数据表示相比，INRs不需要依赖于分辨率的二次或三次存储。它们的表示能力并不依赖于网格分辨率，而是依赖于神经网络的能力，神经网络可以捕获底层数据结构并减少表示的冗余，因此提供了一个紧凑（compact）而强大的连续（continuous）数据表示。
探索元学习与Transformer的新境界：Meta-DETR
gitblog_00062的博客
04-27 1064
探索元学习与Transformer的新境界：Meta-DETR Meta-DETR[T-PAMI 2022] Meta-DETR for Few-Shot Object Detection: Official PyTorch Implementation项目地址:https://gitcode.com/gh_mirrors/me/Meta-DETR 该项目是在GitCode上开源的一个创新性...
Meta Graph Transformer: A Novel Framework for Spatial–Temporal Traffic Prediction
qq_30516823的博客
01-13 958
meta graph transformer
【深度学习】2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？...
fengdu78的博客
06-10 1120
先写两个最近火热我比较看好的方向Transformer和Self-Supervised，我这里举的例子倾向于计算机视觉方向。最后再补充Zero-Shot和多模态两个方向。1.Transfo...
Why Can GPT Learn In-Context?
有关我的科研的足迹、算法竞赛的日子、生活记录。
01-12 2269
这篇文章的发现：Theoretically, we figure out that the Transformer attention has a dual form of gradient descent based optimization. 从理论上，作者发现Transformer的注意力机制同时具有基于梯度下降优化的双重形式。
台大-李宏毅-B站机器学习视频-课件.zip
09-30
台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器...
meta learning（李宏毅
linyuxi_loretta的博客
11-13 1082
meta 元meta learning： learn to learn 学习如何学习大部分的时候deep learning就是在调hyperparameter、调hyperparameter真的很烦，决定什么network的架构啊、决定learning rate啊等等、实际上没有什么好方法来调这些hyperparameter、今天业界最常拿来解决调hyperparameter的方法呢就是买很多张gpu了、
李宏毅-Deep Learning Tutorial-300页的PPT
09-26
注意：此为PPT，不是PDF格式。李宏毅-Deep Learning Tutorial-300页的PPT，这个PPT介绍了一些关于深度学习的知识，适合深度学习入门级阅读。
台大-李宏毅-B站机器学习视频-课件
01-08
【机器学习】 在机器学习领域，无监督学习是一种重要的学习方法，它主要处理没有标签的数据，通过发现数据内在的结构或模式来进行学习。【Deep Auto-encoder】是无监督学习的一种模型，它用于降低数据的维度并进行...
MetaTransformer：简单到尴尬的视觉模型
MOL
12-20 8538
论文地址： https://arxiv.org/abs/2111.11418​arxiv.org/abs/2111.11418 什么才是 Transformer 及其变种成功的真正原因？ 作者的答案是："MetaFormer 才是 Transformer 及其变种成功的真正原因"。 1 MetaTransformer 原理分析： Transformer 做视觉取得巨大成功，视觉 Transformer 模型的基本架构是Token information mixing 模块 + Channel.
重磅！悉尼科大ReLER实验室13篇论文入选CVPR 2021
阿木寺的博客
03-06 2173
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文作者：Pablo |来源：知乎（已授权）https://zhuanlan.zhihu.com/p/35464...
2021年了， 机器/深度学习还有哪些坑比较能好挖？
深度学习与计算机视觉
01-28 408
链接：https://www.zhihu.com/question/440538267编辑：深度学习与计算机视觉声明：仅做学术分享，侵删2021年了， 机器学习还有哪些坑比较能好挖？比如...
MetaTransformer——ViT标准模型结构
AI Flash
04-22 2784
Paper地址：https://arxiv.org/abs/2111.11418 GitHub链接：GitHub - sail-sg/poolformer: PoolFormer: MetaFormer is Actually What You Need for Vision (CVPR 2022 Oral) 方法 主流Vision Transformer (ViT)模型的基本模块包含MSA与FFN，其中MSA通过Attention执行Token间相关性建模，实现Context信息编码。由于MSA
中大博士分析ICLR 2022投稿趋势：Transformer激增，ViT首进榜单前50，元学习大跌
量子位
10-18 351
丰色 发自 凹非寺量子位 报道 | 公众号 QbitAI深度学习顶会ICLR 2022的投稿不久前已结束。根据官网数据，本次一共收到了3407篇投稿，比去年多了400多篇。此次投稿趋势又是...
2021 年深度学习哪些方向比较新颖，比较有研究潜力？
u014546828的博客
10-05 1847
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，比较有研究潜力？ 计算机视觉联盟Yesterday 计算机视觉联盟 团队成员为国内各大高校博士，专注于深度学习、机器学习、图像解译、人工智能、无人驾驶等热门领域，分享开源框架学习（如TensorFlow）、项目经历及编程语言(C++、python)等咨讯 115篇原创内容 Official Account 点上方计算机视觉联盟获取更多干货 仅作学术分享，不代表本公众号立场，侵权联系删除 转载于：作者丨陀飞轮、Zhifeng...
LSTM变种模型
2401_83649983的博客
10-08 1110
双向长短期记忆网络（BiLSTM）是长短期记忆网络（LSTM）的扩展，旨在同时考虑序列数据中的过去和未来信息。BiLSTM 通过引入两个独立的 LSTM 层，一个正向处理输入序列，另一个逆向处理，使得每个时间步的输出包含了该时间步前后的信息。这种双向结构能够更有效地捕捉序列中的上下文关系，从而提高模型对语义的理解能力。正向传递: 输入序列按照时间顺序被输入到第一个LSTM层。每个时间步的输出都会被计算并保留下来。反向传递: 输入序列按照时间的逆序（即先输入最后一个元素）被输入到第二个LSTM层。
深度学习-22-基于keras的十大经典算法之深度神经网络DNN
最新发布
qq_20466211的博客
10-12 203
深度神经网络的基本结构介绍，同时分别基于模拟数据集和鸢尾花数据集，对模型进行了训练和预测。
基于深度学习的复杂器官建模与模拟
weixin_42605076的博客
10-10 1228
基于深度学习的复杂器官建模与模拟是一项前沿技术，它利用深度学习模型从大量医学图像和临床数据中提取信息，生成复杂器官的三维结构模型，并对其进行功能模拟。这项技术对于医学诊断、手术规划、药物开发和疾病研究有重要意义，特别是针对心脏、肝脏、肺等复杂器官。
甲虫身体图像分割系统源码＆数据集分享
m0_73388125的博客
10-08 1513
数据集信息展示在本研究中，我们使用了名为“ground beetles”的数据集，以改进YOLOv8-seg的甲虫身体图像分割系统。该数据集专注于地面甲虫的多样性，包含18个不同的类别，涵盖了丰富的生态特征和形态特征。
李宏毅机器学习HW5-Transformer数据
08-11
李宏毅的机器学习课程中提到的HW5（作业5），可能涉及到Transformer模型在自然语言处理任务中的应用。Transformer是一种基于自注意力机制的深度学习模型，最初由Google在2017年提出的BERT（Bidirectional Encoder Representations from Transformers）就是其变种之一。 在HW5的数据部分，学生可能会接触到如何加载和预处理Transformer需要的文本数据，比如常见的英文文本数据集如IMDB电影评论、Twitter情感分析数据，或者是更专业的如WMT机器翻译任务的数据集。他们需要对数据进行分词（Tokenization）、编码（如使用WordPiece或SentencePiece）、填充零（Padding）、切分成训练、验证和测试集等步骤。 此外，可能还会涉及如何配置Transformer模型的结构参数（如头的数量、隐藏层的大小等）、调整优化器和学习率策略，并通过训练过程监控指标如 perplexity 或 BLEU分数来评估模型性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值