Transformer学习记录

最新推荐文章于 2024-07-10 17:02:08 发布
最新推荐文章于 2024-07-10 17:02:08 发布
阅读量109 收藏
点赞数
分类专栏： NLP 文章标签： 自然语言处理 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/veeoni/article/details/119487993
版权

主要就是Transformer的位置编码我没懂，所以看了很多资料，但是现在还是有些问题的。
在这里记录一下我看过的资料。
对Transformer中的Positional Encoding一点解释和理解
Transformer Architecture: The Positional Encoding 这个很详细
这个是代码
如何理解Transformer论文中的positional encoding，和三角函数有什么关系？ 假设我们自己解决这个问题，思路如何
【NLP】Transformer模型原理详解
【论文笔记】从Transformer到DETR

veeoni
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Transformer学习笔记
08-07
Tranformer源码
机器学习笔记-Transformer
08-03
Transformer语言模型是一种基于注意力机制的深度学习模型，它是在2017年由Google提出的，被广泛应用于自然语言处理领域。 Transformer模型主要由编码器和解码器组成，其中编码器将输入的文本序列转换为一组向量，...
Transformer 学习笔记
DaGongJiGuoMaLu09的博客
03-30 2340
1 为什么要用 Transformer ？（创新点） 1.1 问题来源 最开始机器翻译使用的 seq2seq 所存在的问题： encoder 和 decoder 之间的上下文向量长度固定，但输入文本的长度是不固定的，长度不对称 固定长度的上下文向量无法对长语句做有效编码，会遇到信息瓶颈，产生信息丢失的情况 为了解决上述问题，基于 attention 的 seq2seq 随即被提出（这个 attention 跟 transformer 中的 self-attention 是不一样的），它能很好地利用权
transformer学习笔记
weixin_45706801的博客
04-16 120
2017 attention https://arxiv.org/abs/1706.037622018 google -- bert openai -- chatgpt
transformer学习记录
weixin_42412282的博客
12-05 447
transformer 是可以用于自然语言处理的强有力的工具。基于seq2seq架构的transformer模型可以完成nlp领域的典型任务，如机器翻译，文本生成，同时又可以构建预训练的语言模型（这个应用还是比较广泛的），用于不同任务的迁移学习。 输入部分：原文本的嵌入层（input embedding）及其位置编码器(positional encoding)，目标文本的嵌入层及其位置编码器输出部分：线性层和softmax层 编码器部分： 解码器部分：
transformer学习笔记+详细记录
m0_51581537的博客
03-02 268
笔记用
Vision transformer学习笔记
qq_36936443的博客
04-14 4790
1. transformer基本架构 在了解cv中的transformer之前，我们先来复习一下transformer的基本架构 1.1 编码器与解码器 我们可以将网络分成两个部分，编码器与解码器。 编码器：将输入编程成中间表达形式（抽取特征） 解码器：将中间表示（特征）解码成任务需要的输出 从编解码的角度来理解神经网络，就是说我先通过编码器将原始数据编码成机器学习比较好理解的结构，再通过解码器解码成你需要的任务输出。 对应到CNN，就是说前面使用卷积层进行...
Swin Transformer学习记录
m0_73084262的博客
05-05 248
1.整体结构
Swin—Transformer学习笔记
weixin_45971154的博客
03-16 295
bias才是Attention中B的数值，我们训练的是bias table中的参数。二、Patch Merging。六、模型详细配置参数。
Swin Transformer 学习笔记
qq_36936443的博客
04-20 7368
Swin Transformer 1. 前言 Vision Transformer只做了图片分类任务，表现了transformer在视觉领域的强大实力，但未表明transformer架构能cover掉CV领域的所有任务。Swin Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且获得了ICCV 2021 best paper，其证明了transformer架构可以很好地用于所有的CV任务 Swin Transformer名字来自(Shifted...
transformer论文笔记及思维导图
03-12
transformer论文笔记及思维导图，自留。推荐下列课程 【Transformer论文逐段精读【论文精读】】 https://www.bilibili.com/video/BV1pu411o7BE/?share_source=copy_web&vd_source=3028d9bd754f243aee4c850f06ac7fef ...
ai大模型学习和实践学习笔记：Transformer 模型和注意力机制的关系
09-01
Transformer模型是基于注意力机制的架构，注意力机制是Transformer模型的核心组成部分。 在传统的循环神经网络（如RNN）中，信息在序列中逐步传递，但难以捕捉全局上下文关系。而注意力机制允许模型在处理序列数据...
深度学习-Transformer实战系列.rar
07-17
在"深度学习-Transformer实战系列.txt"这个文件中，可能包含了课程笔记、代码示例或者相关的学习资源链接，可以帮助你在理论学习的同时，通过实践巩固知识。 总的来说，这个深度学习-Transformer实战系列的视频教程...
【论文阅读】Characterization of Large Language Model Development in the Datacenter
最新发布
weixin_46091520的博客
07-10 618
大语言模型（LLMs）在许多任务中表现出色。然而，要高效利用大规模集群资源开发LLM并非易事，常常伴随着频繁的硬件故障、复杂的并行化策略和资源利用不平衡等诸多挑战。为此，我们针对Acme GPU数据中心在为期六个月的LLM开发工作负载中所累积的跟踪数据，进行了一次深入的特征分析研究。我们特别探讨了LLM与以往深度学习（DL）工作负载之间的差异，研究了资源利用模式，分析了各种任务失败的影响，总结了所遇到的难题，并揭示了优化LLM系统的潜在机会。
论文略读：Large Language Models Relearn Removed Concepts
qq_40206371的博客
07-07 323
永久去除概念以提高模型安全性的挑战。将高级概念重新定位到较早的层。在修剪后迅速恢复性能。
【ACM出版】2024人工智能与自然语言处理国际学术会议（AINLP 2024，7月19-21）
ai_1020的博客
07-06 1214
【ACM出版】2024人工智能与自然语言处理国际学术会议（AINLP 2024）2024 International Conference on Artificial Intelligence and Natural Language Processing
论文阅读：Large Language Models for Education: A Survey and Outlook
CSPhD-winston的博客
07-08 988
论文概述了LLMs在教育环境中的多种技术，包括学生和教师辅助、自适应学习和商业工具。系统回顾了每个视角下的技术进步，整理了相关数据集和基准测试，并识别了LLMs部署在教育中的相关风险和挑战。概述了未来的研究方向，强调了有前景的方向。
Transformer应用实践（学习篇）
06-09
将B站作为一个学习软件的简单实践，将某培训机构的关于Transformer实战的教程，对照实操，对Transformer有了更清晰的认识（最终的训练评估代码执行报错，未能解决，略有遗憾），将学习过程整理成册备阅；

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值