Transformers使用教程

已于 2023-02-08 12:16:56 修改
阅读量762 收藏
点赞数
分类专栏： python Transformers 文章标签： 人工智能 深度学习
于 2022-12-07 18:32:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42233538/article/details/128223214
版权



模型参数下载

数据集查找

Transformers中文使用说明​​​​​​​

Huggingface 超详细介绍 - 知乎

Hugging Face 的 Transformers 库快速入门 

文档说明

Transformers提供文本相关的预训练模型
Diffusers提供图像相关的预训练模型

Datasets

用于轻松访问和共享音频、计算机视觉和自然语言处理 （NLP） 任务的数据，同时可以用于加载评估指标
gradio用于创建前端界面
Inference API提供基于url模型调用方法
Accelerate大规模的训练和推理变得简单、高效和适应性强。
Optimum它提供了一组性能优化工具，以最高效率在目标硬件上训练和运行模型。
 tokenizers提供了一个 实现当今最常用的分词器
course提供中文、英文等多种语义的模型使用和微调教程
Evaluate评估指标的选择与使用
Tasks根据任务去查找模型，并体验相应的功能

Transformers训练和微调

采用pipline方法Transformers训练和微调：Training and Fine-tuning_HMTT的博客-CSDN博客_transformers微调
采用Trainer()【NLP】(task9)Transformers解决机器翻译任务（更新ing）_山顶夕景的博客-CSDN博客_marianmtmodelTrainer中准确率计算不是必须的
metrics评估方法加载与使用说明datasets/metrics at main · huggingface/datasets · GitHub
evaluate/metrics at main · huggingface/evaluate · GitHub

 

来路与归途
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
jstransformer-cli:JSTransformers的命令行界面
05-03
jstransformer-cli 命令行界面。 安装 npm install -g jstransformer-cli 用法 jstransformer <transformer> <file> [options] cat <file> | jstransformer <transformer> [options] Options: --version output the version number --locals JSON string for locals --options JSON string for options 例子 jstransformer marked README.md > README.html cat README.md | jstransformer marked > README.html 执照 麻省理工学院
Transformers学习-代码环境配置
08-19
Transformers库通常与相关的项目或教程一起提供，你可以通过Git命令来获取这些代码。在Windows 11系统中，可以使用PowerShell（相较于传统的cmd，它提供了更多功能和更好的用户体验）来执行以下命令： ```bash git ...
Huggingface Transformers简约教程（二）
weixin_47779152的博客
03-31 3876
Huggingface Transformers简约教程。初学者的理解视角
Transformer全流程细致讲解
最新发布
xy_optics的博客
05-05 828
文章目录1. Transformer 架构概述2. 编码器（Encoder）2.1 输入嵌入层（Input Embedding Layer）2.1.1 一个简单的示例2.2 位置编码（Positional Encoding）2.2.1 Transformer中采用的位置编码方式2.2.2 公式中符号的含义2.3. 多头自注意力层（Multi-Head Self-Attention Layer）2.3.1 自注意力机制（Self-Attention Mechanism）2.3.4 多头自注意力层的构成2.4
Py之transformers：transformers的简介、安装、使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
09-08 9279
​ Py之transformers：transformers的简介、安装、使用方法、案例应用之详细攻略 目录 transformers的简介 transformers的使用方法 transformers的安装 transformers的案例应用 可提供的模型架构—目前194种 transformers的简介 transformers提供了数千个预先训练好的模型来执行不同模式的任务，如文本、视觉和音频。这些模型可应用于: >> 文本：用于文本分类、信息提取、问题回
手把手带你实战Transformers（学习笔记）
a131529的博客
11-28 511
​​​B站链接： 手把手带你实战HuggingFace Transformers 章节 篇章 小节 主要内容 一：基础入门篇 1.1 基础知识与环境安装 主要介绍自然语言处理的常见任务、发展阶段、Transformers的几个主要库、环境安装以及两个极简示例 1.2 基础组件之Pipeline 主要介绍Pipeline支持的任务类型、如何创建、如何确定参数以及其背后的封装内部的原理 1.3 基础组件之Tokenizer 主要介绍Tokenizer的使
Transformers 库的基本使用
热门推荐
步入人工智能
06-19 2万+
本内容主要介绍 Transformers 库 的基本使用。
Transformers实战——Trainer和文本分类
厚积而薄发
11-16 1568
【代码】Transformers实战——Trainer和文本分类。
扩展教程如何使用AutoGPT？
05-10
本教程将详细介绍如何利用AutoGPT进行有效的使用，以提高工作效率并激发创造力。 首先，我们需要了解AutoGPT的基础概念。它是由OpenAI的GPT系列模型发展而来，通过深度学习算法，能够理解和生成自然语言，包括代码...
Python库 | transformers-3.0.2.tar.gz
03-11
9. **文档与教程**：Transformers提供了详尽的官方文档和教程，引导用户从安装到实际应用，一步步了解如何利用这个库进行NLP项目开发。 10. **可扩展性**：Transformers库的开放源代码特性使得用户可以对其进行二次...
Transformers资料汇总.pdf
10-26
对于实现 Transformers，我主要依赖于这个教程： * https://nlp.seas.harvard.edu/2018/04/03/attention.html Vaswani 等人介绍了 Transformer 的结构。在您有一个高层次的理解和想要进阶细节后再读它。为了深入...
fme-desktop-2018-基础培训教程
03-27
这份基础培训教程全面覆盖了FME Desktop 2018的使用，包括数据转换的基本概念、工作空间的设计与测试、转换器的运用以及最佳实践建议。通过实际的练习和案例，学习者能逐步掌握FME，成为能够解决实际数据转换问题的...
【深度学习 | Transformer】Transformers 教程：pipeline一键预测
wzk4869的博客
05-05 3082
【深度学习 | Transformer】Transformers 教程：pipeline一键预测
1 安装和简单使用Transformers
u014574764的博客
03-10 1614
我是NLP或者Transformers纯小白，写文档既是作为记录，也分享给大家共同讨论。本教程所有需下载的文件都会整合到百度网盘，就算你不会git和魔法上网也可以跟着做：
Transformer Tutorials 最全入门详细解释（一）
weixin_50920579的博客
03-23 1077
你可以简单理解为它是一个黑盒子，当我们在做文本翻译任务是，我输入进去一个中文，经过这个黑盒子之后，输出来翻译过后的英文。那么在这个黑盒子里面都有什么呢？里面主要有两部分组成：Encoder 和 Decoder当我输入一个文本的时候，该文本数据会先经过一个叫Encoders的模块，对该文本进行编码，然后将编码后的数据再传入一个叫Decoders的模块进行解码，解码后就得到了翻译后的文本，对应的我们称Encoders为编码器，Decoders为解码器。
保姆级教程：图解Transformer
Jack-Cui
01-29 6164
Transformer的原理剖析，注意力机制、位置嵌入详解。
Transformer怎么入门？如何学习Transformer？
gu1857035894的博客
08-02 2239
免费分享一些我整理的人工智能学习资料给大家，整理了很久，非常全面。包括一些人工智能基础入门视频+AI常用框架实战视频、图像识别、OpenCV、NLQ、YOLO、机器学习、pytorch、计算机视觉、深度学习与神经网络等视频、课件源码、国内外知名精华资源、AI热门论文等。学好人工智能，要多看书，多动手，多实践，要想提高自己的水平，一定要学会沉下心来慢慢的系统学习，最终才能有所收获。理论学习部分首先要了解Attention机制，这里推荐李宏毅老师的机器学习(或者看他的PPT)，讲的很清楚。...
Transformers从零到精通教程——Pipeline
厚积而薄发
07-29 958
【代码】Transformers从零到精通教程——Pipeline。
Transformer模型详解（图解史上最完整版）
Trisyp的博客
02-24 2060
Transformer模型详解
transformers系列教程
06-09
1. Hugging Face官方transformers教程：https://huggingface.co/transformers/ 2. BERT系列教程：https://zhuanlan.zhihu.com/p/49271699 3. GPT-2系列教程：https://zhuanlan.zhihu.com/p/75862471 4. XLNet系列...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值