Transfomer相关最新研究

已于 2024-01-25 14:44:03 修改
阅读量814 收藏 19
点赞数 19
文章标签： transformer
于 2024-01-24 20:19:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_74850661/article/details/135829888
版权

文章目录

LogTrans * (有代码）

在这里插入图片描述

TFT （有代码）

在这里插入图片描述

InfluTran （有代码）

在这里插入图片描述

Informer *（有代码）（长时间）

在这里插入图片描述

ProTran

Autoformer ***（有代码）

在这里插入图片描述

Aliformer

在这里插入图片描述

Pyraformer （有代码）

Preformer （有代码）

在这里插入图片描述

FEDformer （有代码）

在这里插入图片描述

ETSformer （有代码）

在这里插入图片描述

TACTis （有代码）

在这里插入图片描述

Triformer （有代码）

在这里插入图片描述

TDformer （有代码）

在这里插入图片描述

Non-statitionary-Transformer

在这里插入图片描述

Scaleformer （有代码）

在这里插入图片描述

Quatformer (有代码）

在这里插入图片描述

Persistance Initialization

在这里插入图片描述

W-Transformers （有代码）

在这里插入图片描述

Crossformer （有代码）

在这里插入图片描述

PatchTST （有代码）

在这里插入图片描述

AirFormer *** (有代码）

在这里插入图片描述

TVT

在这里插入图片描述

Conformer （有代码）

在这里插入图片描述

PDFormer (有代码）

在这里插入图片描述

ViTST ( 有代码）

在这里插入图片描述

CARD

在这里插入图片描述

JTST

在这里插入图片描述

HSTTN *

在这里插入图片描述

Client （有代码）

在这里插入图片描述

Taylorformer (有代码）

在这里插入图片描述

Corrformer *** （有代码）

在这里插入图片描述

GCformer * （有代码）

在这里插入图片描述

SageFormer

在这里插入图片描述

DifFormer *

在这里插入图片描述

HUTFormer

在这里插入图片描述

DSformer

在这里插入图片描述

SBT

在这里插入图片描述

PETformer

在这里插入图片描述

TACTis-2

在这里插入图片描述

PrACTis(减少内存）

在这里插入图片描述

iTransformer

在这里插入图片描述

ContiFormer

在这里插入图片描述

BasisFormer

在这里插入图片描述

MTST

在这里插入图片描述

MultiResFormer

在这里插入图片描述

FPPformer

在这里插入图片描述

DOzerfomer

在这里插入图片描述

CSformer

在这里插入图片描述

MASTER

在这里插入图片描述

PCA + former **

在这里插入图片描述

PDF

在这里插入图片描述

Pathformer

在这里插入图片描述

VQ-TR

在这里插入图片描述

JNU freshman
关注
  • 19
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Transformer模型的前沿研究进展
禅与计算机程序设计艺术
04-07 1065
Transformer模型的前沿研究进展 作者：禅与计算机程序设计艺术 1. 背景介绍 Transformer模型是近年来自然语言处理领域最重要的创新之一。它摆脱了传统循环神经网络(RNN)和卷积神经网络(CNN)的局限性,引入了注意力机制,在机器翻译、文本生成、对话
ChatGPT研究框架 transformer
10-14
 ChatGPT嵌入了人类反馈强化学习以及人工监督微调，因而具备了理解上下文、连贯性等诸多先进特征，解锁了海量应用场景 ...同时，ChatGPT也会屏蔽敏感信息，对于不能回答的内容也能给予相关 建议。
Learning to Rotate: Quaternion Transformer for Complicated Periodical Time Series Forecasting
小蚂蚁与大象
08-19 1077
为了应对这些挑战，我们设计了一个创新的框架四元数转换器(Quaternion Transformer, Quatformer)，以及三个主要组件:1)基于四元数的旋转学习(learning-to-rotate attention, LRA)，引入可学习的周期和相位信息来描绘复杂的周期模式。该内核可以直接插入点积注意力。为进一步处理多个周期、可变周期和相位偏移，本文提出以数据驱动的方式学习潜在的频率和相位，得到旋转学习注意力，保留了对注意力机制长程依赖的建模能力，并利用了时间序列的周期特性。
阿⾥达摩院最新FEDformer，⻓程时序预测全⾯超越SOTA｜ICML 2022
zandaoguang的博客
06-28 3832
视学算法报道编辑：好困 LRS【新智元导读】阿里巴巴达摩院最近发布了一个新模型FEDformer模型，不光计算复杂度降为线性，预测精度还比SOTA高22.6%时间序列预测在众多领域中（例如电力、能源、天气、交通等）都有广泛的应用。时间序列预测问题极具挑战性，尤其是长程时间序列预测（long-term series forecasting）。在长程时间序列预测中，需...
Transformer 模型及其典型应用研究
一只老虎的专栏
04-07 2270
Transformer 模型是一种基于自注意力机制的深度学习架构，在自然语言处理等领域取得了巨大成功。本文介绍了 Transformer 模型的原理和结构，并探讨了其在语言翻译、文本生成、对话系统、语言模型、图像处理和推荐系统等典型应用领域的研究进展。通过深入分析 Transformer 模型在不同应用领域中的应用案例，展示了其在促进人工智能技术发展和应用落地方面的重要作用。
Transformer最新综述
leo0308的博客
12-17 4940
0 前言 Transformer在人工智能领域取得了非常的成功， 如NLP, CV, 音频处理等等。 针对Transformer的改进工作也层出不穷， 这些Transformer的变体大概可以分为3类：模型结构的优化， 预训练， 以及Transformer的应用。 1 模型结构的优化 1.1 模块级的优化 1.1.1 注意力机制 1.1.1.1 稀疏Attention 1.1.1.2 线性Attention 1.1.1.3 查询原型和内存压缩 1.1.1.4 低秩自注意力 1.1.1.5 先验的注意力 1
深度学习-Transformer实战系列课程
09-23
Transformer模型是深度学习领域中的一个重大突破，由Google在2017年提出...通过这个课程，你不仅能掌握Transformer模型的核心概念和技术，还能提升自己在深度学习领域的实战能力，为从事相关工作或研究打下坚实的基础。
Transformer曲线拟合
02-20
通过深入研究这个代码，我们可以更好地理解和实践Transformer在曲线拟合任务中的应用，同时也可以探索如何调整模型参数以优化性能。总的来说，Transformer曲线拟合是一个展示Transformer模型在非文本数据处理能力的...
transformer分类代码
10-03
Transformer模型是深度学习领域中的一种重要结构，尤其在自然语言处理任务中表现出色。Transformer的引入解决了RNN...通过深入研究这些文件，我们可以更好地理解Transformer的工作原理以及如何将其应用于实际问题中。
什么是transformer以及学习transformer的意义
06-11
### 什么是Transformer以及学习Transformer的意义 #### Transformer简介 Transformer是一种革命性的深度...无论是对于学术研究人员还是工业界的从业者来说，深入了解Transformer及其相关技术都有着极其重要的意义。
守望先锋资讯小程序(源码).zip
07-28
守望先锋资讯小程序(源码).zip
无人智能化关键技术及其在火炮系统中的应用_常建龙.caj
07-28
无人智能化关键技术及其在火炮系统中的应用_常建龙
本科设计-机器学习识别图片验证码-可执行内含文档代码-可执行内含文档代码.zip
07-28
本科设计-机器学习识别图片验证码-可执行内含文档代码-可执行内含文档代码.zip
【2023】智能网联汽车数据安全合规白皮书-路特斯科技&普华永道_43页.pdf
07-28
【2023】智能网联汽车数据安全合规白皮书-路特斯科技&普华永道_43页.pdf
一种无人机起落一体的四足机器人.pdf
07-28
一种无人机起落一体的四足机器人
一种十二自由度仿生四足机器人.pdf
07-28
一种十二自由度仿生四足机器人
基于多种机器学习算法(如人工神经网络、逻辑回归、随机森林等)进行股票价格预测python实现源码+数据.zip
07-28
基于多种机器学习算法(如人工神经网络、逻辑回归、随机森林等)进行股票价格预测python实现源码+数据.zip 个人大四的毕业设计、经导师指导并认可通过的高分设计项目，评审分96.5分。主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者，也可作为课程设计、期末大作业。 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设或者课设、作业，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96.5分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。
vue2基础语法笔记和代码
最新发布
07-28
vue2基础语法笔记和代码
基于Springboot和Vue的敬老院管理系统源码 敬老院管理系统代码（优秀毕业设计）
07-28
敬老院管理系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！
与Transformer模型相关的研究
04-26
以下是与Transformer模型相关的一些研究方向： 1. Transformer模型的原理和结构：研究者们对Transformer模型的原理和结构进行了深入的研究，包括自注意力机制、位置编码、多头注意力等方面的探索。 2.模型的改进和...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值