huggingface transformers包 文档学习笔记（持续更新ing...）

诸神缄默不语-个人CSDN博文目录

本文系huggingface（Hugging Face – The AI community building the future.）旗下Python包transformers 文档（🤗 Transformers）的个人学习笔记合集，各部分的具体内容分别撰写博文，本文以超链接的形式构建目录。
transformers是用于在Python人工智能开发过程中便捷调用预训练模型的Python库。可以应用在文本、视觉、多模态下，但由于作者主要致力于NLP方向，因此仅会关注文本方面的工作，尤其是文本摘要相关的工作。而且transformers可以用多种神经网络框架包作为后端，但是由于作者主要使用PyTorch，因此本文会关注PyTorch方向；此外作者也用过TensorFlow；但是JAX等其他框架完全没用过，所以应该也不会写到相关内容。
此外，由于transformers包更新非常快，因此本文所撰写的内容都随时可能过时。作者只能保证在相应部分的内容被撰写时可用。
本文原本的各部分排列顺序为transformers官方文档各部分排列顺序，但是因为文档整个排版都更新了，所以我就直接按照我的笔记撰写的顺序来写了。笔记撰写的顺序是当时的文档排列顺序，随着原文档顺序修改，可能与当下的文档排列顺序不符。

另：

1. 本文中所介绍transformers文档中的视频都是YouTube源，因此有一些读者可能没法看。
2. transformers文档各部分的内容都可以通过 transformers官方的notebooks 进行实战代码训练，其中colab的代码一些读者可能没法上，但是SageMaker Studio的代码是在大陆可以直接加载的。
3. 本文中较靠后的博文，可能有些内容是以假设读者阅读过此前博文为前提来撰写的。如果您在阅读过程中出现了由于前提知识不足而产生的理解问题，可以给我留下评论，我会写明对应前提知识的对应资料。

正文：

transformers介绍：
网址：https://huggingface.co/docs/transformers/master/en/index
transformers是适用于PyTorch、TensorFlow和JAX的机器学习包，可用于下载和训练预训练模型。用预训练模型比从0开始训练模型更好（可以减少计算代价和时间、减少碳足迹之类的）。

1. huggingface.transformers速成笔记：Pipeline推理和AutoClass 对应的原文档网页：
   1. https://huggingface.co/docs/transformers/master/en/quicktour
   2. https://huggingface.co/docs/transformers/master/en/pipeline_tutorial
   3. https://huggingface.co/docs/transformers/master/en/autoclass_tutorial
2. huggingface.transformers安装教程 对应的原文档网页：https://huggingface.co/docs/transformers/master/en/installation
3. huggingface.transformers哲学 对应的原文档网页：https://huggingface.co/docs/transformers/master/en/philosophy
4. huggingface.transformers术语表 对应的原文档网页：https://huggingface.co/docs/transformers/master/en/glossary
   
   https://huggingface.co/docs/transformers/main/en/preprocessing部分学习笔记与其他部分进行了融合，未单独成文，如有特别对本部分感兴趣的读者可着意参考huggingface.transformers速成笔记：Pipeline推理和AutoClass和huggingface.transformers术语表这两篇笔记。
5. huggingface.transformers任务简介 对应的原文档网页：https://huggingface.co/docs/transformers/main/en/task_summary
6. 用huggingface.transformers.AutoModelForSequenceClassification在文本分类任务上微调预训练模型 对应的原文档网页：https://huggingface.co/docs/transformers/main/en/training
   
   https://huggingface.co/docs/transformers/main/en/run_scripts这篇文档介绍的是如何运行transformers官方GitHub项目中的脚本，主要介绍了不同设置下的参数、代码名字对应的含义、用accelerate加速、在正式运行之前先用小规模数据进行测试的精神、保存checkpoint继续训练
7. 用huggingface.Accelerate进行分布式训练 对应的原文档网页：https://huggingface.co/docs/transformers/main/en/accelerate
8. 用huggingface.transformers.AutoModelForTokenClassification实现命名实体识别任务 对应的原文档网页：https://huggingface.co/docs/transformers/tasks/token_classification
9. 用huggingface.transformers.AutoModelForSeq2SeqLM实现文本生成任务 对应的原文档网页：https://huggingface.co/docs/transformers/tasks/summarization