Transformer模型涉及到的框架及任务类型

已于 2022-06-21 11:53:22 修改
阅读量371 收藏 19
点赞数 10
分类专栏： NLP Python 文章标签： transformer 人工智能 深度学习
于 2022-06-21 11:51:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43721000/article/details/125388257
版权
Python 同时被 2 个专栏收录
122 篇文章 26 订阅
订阅专栏
NLP
20 篇文章 1 订阅
订阅专栏

Transformer可以直接使用完整的架构，也可以只使用编码器或解码器，这取决于你的目标是解决什么样的任务，下表对此进行了总结 ↓

Model涉及到哪些框架任务类型
Encoder部分ALBERT, BERT, DistilBERT, ELECTRA, RoBERTaSentence classification【句子分类】, named entity recognition【命名实体识别】, extractive question answering【抽取式问答】
Decoder部分CTRL, GPT, GPT-2, Transformer XLText generation【文本生成】
Encoder+DecoderBART, T5, Marian, mBARTSummarization【摘要】, translation【翻译】, generative question answering【生成性问题回答】
什么都干的派森
关注
  • 10
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 9
    评论
专栏目录
基于Transformer实现Twitter文本隐喻二分类
CSDN 精品推荐
10-15 2013
该数据集由公司数字八创建，最初在其“人人享有数据”网站上共享。推特来源：https://twitter.com/AnyOtherAnnaK/status/6291959555067084802017 年，Google 提出了 Transformer 模型，用 Self Attention 的结构，取代了以往 NLP 任务中的 RNN 网络结构，在 WMT 2014 Englishto-German 和 WMT 2014 English-to-French两个机器翻译任务上都取得了当时 SOTA 的效果。
【总结】Transformer预训练任务总结
Finks
12-29 678
transformer预训练模型使用记录
六项任务、多种数据类型，谷歌、DeepMind提出高效Transformer评估基准
weixin_36896856的博客
11-30 227
点击上方“AI遇见机器学习”，选择“星标”公众号重磅干货，第一时间送达来自：机器之心自诞生以来，Transformer在不同领域得到了广泛应用，研究人员也提出了许多高效 Transfo...
每日算法讲解（四）：使用Transformer进行自然语言处理任务
最新发布
qq_36517643的博客
06-24 811
Transformer模型由Vaswani等人在2017年提出，是一种基于自注意力机制（Self-Attention）的深度学习模型。与传统的循环神经网络（RNN）和长短期记忆网络（LSTM）不同，Transformer模型能够并行处理序列数据，从而显著提高训练效率。接下来，我们定义一个简单的Transformer模型。# 自注意力机制# 前馈神经网络# 定义模型在本文中，我们详细介绍了如何使用Transformer模型进行文本分类，包括数据预处理、模型定义、训练和预测等各个环节。
Keras构建用于分类任务的Transformer（Vision Transformer/VIT）
热门推荐
QAQIknow的博客
08-28 1万+
文章目录一、Vision Transformer (ViT)详细信息二、Vision Transformer结构三、Keras实现3.1 相关包3.2 数据读取3.3 声明超参数3.4 使用数据增强方法3.5 计算训练数据的平均值和方差进行归一化3.6 定义multilayer perceptron (MLP)3.7 定义块3.8 数据可视化3.9 实现Encoding Layer3.10 构建ViT模型3.11 训练+评估（AdamW可以换成Adam，效果可能还更好）四、完整代码 一、Vision Tra
torch框架下利用transformer模型进行文本分类
09-08
在深度学习领域，PyTorch（torch）框架以其灵活性和易用性被广泛采用，尤其在自然语言处理（NLP）任务中。本教程将详细阐述如何在PyTorch环境中运用Transformer模型进行文本分类，这对于初学者来说是一个很好的实践...
基于Transformer实现文本预测任务 数据集
04-26
Transformer模型是深度学习领域中的一个里程碑式创新，尤其在自然语言处理（NLP）任务中，它极大地推动了序列建模的进步。Transformer的核心思想在于利用自注意力（Self-Attention）机制替代传统的循环神经网络（RNN...
使用 Keras 和 tensorflow 实现的Transformer模型.zip
07-02
在"使用 Keras 和 tensorflow 实现的Transformer模型.zip"压缩包中，你将找到一个名为"transformer-keras-master"的项目，这是用Python编程语言、Keras库和TensorFlow框架实现的Transformer模型。Keras是一个高级...
基于transformer的语言翻译模型内含数据集.zip
04-15
复现Transformer模型涉及到的技能和工具包括Python编程、PyTorch或TensorFlow框架、深度学习基础知识以及NLP领域的知识。通过这个压缩包，你可以深入了解Transformer的工作原理，并动手实践以提升对深度学习模型的...
以下是关于自然语言处理（NLP）、Transformer 模型、YOLO（You Only Look Once）等技术应用
01-19
Hugging Face Transformers 是一个提供了大量预训练的 NLP 模型的库，方便在各种任务中使用。 Transformer 模型是深度学习领域中的一种重要模型，能够处理长期依赖关系，广泛应用于自然语言处理、机器翻译、文本...
【Transformer 练习】点分类任务（单步+整合code）
追光者♂：记录、分享、总结、提升，现象级专栏《Python从入门到人工智能》作者，无惧黑暗，坚信曙光
12-24 467
【Transformer 练习】点分类任务（单步+整合code）
利用transformer完成文本分类任务
step by step
09-08 537
直接使用transformer库即可完成此任务。
Transformer 机器翻译任务（上）
songyang66的博客
11-23 1736
transformer 架构解析和代码编写，学习唐宇迪老师的
新闻文本分类任务：使用Transformer实现
Chaos的博客
03-23 2629
自然语言处理（NLP）领域中的新闻文本分类任务旨在将一段文本自动分类到某个预定义的类别中，例如体育、政治、科技、娱乐等等。这是一个重要的任务，因为在日常生活中，我们需要处理各种类型的文本，并且需要在其中找到特定的信息。新闻文本分类任务的自动化可以帮助我们更快地了解大量的文本，并提供更好的搜索和推荐服务。在本文中，我们将介绍一些新闻文本分类任务的最新研究，并探讨它们的优势和劣势。
【李宏毅机器学习】TransFormer框架基础储备知识（p51） 学习笔记 | 全程手码，放心食用
weixin_45947476的博客
12-06 627
全文总结于哔哩大学的视频：李宏毅2020机器学习深度学习(完整版)国语 2020版课后作业范例和作业说明在github上：点击此处 李宏毅上传了2020版本的机器学习视频和吴恩达的CS229机器学习相比，中文版本的机器学习显得亲民了许多，李宏毅的机器学习是英文的ppt+中文讲解，非常有利于大家入门。吴恩达的CS229中偏向于传统机器学习（线性回归、逻辑回归、Naive Bayes、决策树、支持向量机等），李宏毅2020版本的机器学习中除了最前面的回归、分类，后面更多篇幅涉及卷积神经网络（CNN）、循环神经网
微调Transformer模型用于多标签分类任务
weixin_45511002的博客
07-18 1975
将预训练的Transformer模型（如BERT、RoBERTa等）应用于多标签分类任务，并实现较好的性能，我们可以使用的技巧和方法。
datawhale 8月学习——NLP之Transformers：Transformers解决文本分类任务、超参搜索
qq_40990057的博客
08-26 533
前情回顾 attention和transformers BERT和GPT 编写BERT模型 BERT的应用、训练和优化 结论速递 本次任务了解了使用Transformers解决文本分类任务的方法，进一步熟悉了代码流程的使用。在使用BERT解决文本分类任务时，需要先进行tokenization，然后在进行微调的时候，需要先确定训练的超参数和评价指标，才能开始训练。此外，transformers库还允许外部调用optuna或者Ray Tune进行超参数搜索。 本文索引前情回顾结论速递1 文本分类1.1 任务
深入浅出对话系统——使用Transformer进行文本分类
日积月累，天道酬勤
07-03 3350
我们将展示使用🤗Transformer库中的模型来解决文本分类任务，任务来源于GLUE Benchmark。
大语言模型微调实战：提升任务性能的策略与工具
大语言模型（LLMs）是经过大规模预训练的神经网络，它们能够捕捉到语言的复杂性和多样性，从而在各种自然语言处理任务中展现出强大的性能。这些模型基于深度学习技术，如Transformer架构，通过在大量无标注文本数据...
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

什么都干的派森

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值