HuggingFace transformers 中文文档

本项目为🤗HuggingFace transformers 库的中文文档，仅仅针对英文文档进行了翻译工作，版权归HuggingFace 团队所有。

完整文档请见github项目：

https://github.com/liuzard/transformers_zh_docs.git

1. 开始使用

• 🤗Transformers简介
• 快速开始
• 安装

2. 教程

• 通过pipline进行推理

• 使用AutoClass编写可移植代码

• 数据预处理

• 调优预训练模型

• 通过脚本训练

• 通过🤗Accelerate设置分布式训练

• 通过🤗PEFT加载和训练adapters

• 分享你的模型

3. 任务指南

3.1 自然语言处理

• 文本分类

• Token分类

• 问答

• 语言模型

• 掩码语言模型

• 机器翻译

• 文本摘要

• 多项选择

3.2 语音处理

• 语音分类
• 语音识别

3.3 机器视觉

• 图像分类
• 图像分割
• 视频分类
• 目标检测
• 零样本目标检测
• 零样本图像分类
• 深度估计

3.4 多模态

• 图像描述
• 阅读理解
• 图像问答
• 文本转语音

3.5 生成

• 自定义生成策略

3.6 提示

• 通过IDEFICS处理图像任务

4. 开发者指南：

• 通过🤗Tokenizers实现快速分词
• 多语言模型推理
• 使用模型特定的APIs
• 分享自定义的模型
• chat模型模板
• 通过Amazon SageMaker训练模型
• 导出到ONNX
• 导出到TFLite
• 导出到TorchScript
• 基准测试
• 笔记样例
• 社区资源
• 自定义Tools和Prompts
• 问题排查

5. 性能和可拓展性：

5.1 概述

5.2 高效训练技巧

• 单个GPU上高效训练的方法和工具
• 多个GPU和并行计算
• CPU上高效训练
• 分布式CPU训练
• TPU上训练
• 使用TensorFlow在TPU上训练
• 专用硬件训练
• 用于训练的自定义硬件
• 使用Trainer API进行超参数搜索

5.3 优化推理

• 在CPU上进行推理
• 在单个GPU上进行推理
• 在多个GPU上进行推理
• 在专用硬件上进行推理

5.4 其他内容

• 实例化一个大型模型
• 故障排查
• TensorFlow模型的XLA集成
• 使用torch.compile](https://github.com/liuzard/transformers_zh_docs/blob/master/docs_zh/.md)优化推理

6. 给transformers贡献

• 如何贡献给🤗Transformers
• 如何向🤗Transformers添加模型
• 如何将🤗Transformers模型转换为TensorFlow
• 如何向🤗Transformers添加pipline
• 测试
• 拉取请求的检查

7. 概念指南

• 哲学
• 术语表
• 🤗Transformers能做什么
• 🤗Transformers如何解决任务
• Transformer模型系列
• 分词器概述
• 注意力机制
• 填充和截断
• BERTology
• 固定长度模型的困惑度
• 用于Web服务器推论的流水线
• 模型训练解剖学

7 API

7.1 主要的类

• Agents and Tools
• Auto Classes
• Callbacks
• Configuration
• Data Collator
• Keras callbacks
• Logging
• Models
• Text Generation
• ONNX
• Optimization
• Model outputs
• Pipelines
• Processors
• Quantization
• Tokenizer
• Trainer
• DeepSpeed Integration
• Feature Extractor
• Image Processor

7.2 模型

7.2.1 文本模型

• ALBERT
• BART
• BARThez
• BARTpho
• BERT
• BertGeneration
• BertJapanese
• Bertweet
• BigBird
• BigBirdPegasus
• BioGpt
• Blenderbot
• Blenderbot Small
• BLOOM
• BORT
• ByT5
• CamemBERT
• CANINE
• CodeGen
• CodeLlama
• ConvBERT
• CPM
• CPMANT
• CTRL
• DeBERTa
• DeBERTa-v2
• DialoGPT
• DistilBERT
• DPR
• ELECTRA
• Encoder Decoder Models
• ERNIE
• ErnieM
• ESM
• Falcon
• FLAN-T5
• FLAN-UL2
• FlauBERT
• FNet
• FSMT
• Funnel Transformer
• GPT
• GPT Neo
• GPT NeoX
• GPT NeoX Japanese
• GPT-J
• GPT2
• GPTBigCode
• GPTSAN Japanese
• GPTSw3
• HerBERT
• I-BERT
• Jukebox
• LED
• LLaMA
• Llama2
• Longformer
• LongT5
• LUKE
• M2M100
• MarianMT
• MarkupLM
• MBart and MBart-50
• MEGA
• MegatronBERT
• MegatronGPT2
• mLUKE
• MobileBERT
• MPNet
• MPT
• MRA
• MT5
• MVP
• NEZHA
• NLLB
• NLLB-MoE
• Nyströmformer
• Open-Llama
• OPT
• Pegasus
• PEGASUS-X
• Persimmon
• PhoBERT
• PLBart
• ProphetNet
• QDQBert
• RAG
• REALM
• Reformer
• RemBERT
• RetriBERT
• RoBERTa
• RoBERTa-PreLayerNorm
• RoCBert
• RoFormer
• RWKV
• Splinter
• SqueezeBERT
• SwitchTransformers
• T5
• T5v1.1
• TAPEX
• Transformer XL
• UL2
• UMT5
• X-MOD
• XGLM
• XLM
• XLM-ProphetNet
• XLM-RoBERTa
• XLM-RoBERTa-XL
• XLM-V
• XLNet
• YOSO

7.2.2 视觉模型

• BEiT
• BiT
• Conditional DETR
• ConvNeXT
• ConvNeXTV2
• CvT
• Deformable DETR
• DeiT
• DETA
• DETR
• DiNAT
• DINO V2
• DiT
• DPT
• EfficientFormer
• EfficientNet
• FocalNet
• GLPN
• ImageGPT
• LeViT
• Mask2Former
• MaskFormer
• MobileNetV1
• MobileNetV2
• MobileViT
• MobileViTV2
• NAT
• PoolFormer
• Pyramid Vision Transformer
• RegNet
• ResNet
• SegFormer
• SwiftFormer
• Swin Transformer
• Swin Transformer V2
• Swin2SR
• Table Transformer
• TimeSformer
• UperNet
• VAN
• VideoMAE
• Vision Transformer
• ViT Hybrid
• ViTDet
• ViTMAE
• ViTMatte
• ViTMSN
• ViViT
• YOLOS

7.2.3 语音模型

• Audio Spectrogram Transformer
• Bark
• CLAP
• EnCodec
• Hubert
• MCTCT
• MMS
• MusicGen
• Pop2Piano
• SEW
• SEW-D
• Speech2Text
• Speech2Text2
• SpeechT5
• UniSpeech
• UniSpeech-SAT
• VITS
• Wav2Vec2
• Wav2Vec2-Conformer
• Wav2Vec2Phoneme
• WavLM
• Whisper
• XLS-R
• XLSR-Wav2Vec2

7.2.4 多模态模型

• ALIGN
• AltCLIP
• BLIP
• BLIP-2
• BridgeTower
• BROS
• Chinese-CLIP
• CLIP
• CLIPSeg
• Data2Vec
• DePlot
• Donut
• FLAVA
• GIT
• GroupViT
• IDEFICS
• InstructBLIP
• LayoutLM
• LayoutLMV2
• LayoutLMV3
• LayoutXLM
• LiLT
• LXMERT
• MatCha
• MGP-STR
• OneFormer
• OWL-ViT
• Perceiver
• Pix2Struct
• Segment Anything
• Speech Encoder Decoder Models
• TAPAS
• TrOCR
• TVLT
• ViLT
• Vision Encoder Decoder Models
• Vision Text Dual Encoder
• VisualBERT
• X-CLIP

7.2.5 强化学习模型

• Decision Transformer
• Trajectory Transformer

7.2.6 时序模型

• Autoformer
• Informer
• Time Series Transformer

7.2.6 图模型

• Graphormer

7.3 内部工具

• Custom Layers and Utilities
• Utilities for pipelines
• Utilities for Tokenizers
• Utilities for Trainer
• Utilities for Generation
• Utilities for Image Processors
• Utilities for Audio processing
• General Utilities
• Utilities for Time Series