Transformers库：免费AI模型探险指南

🤗 1. 介绍

[Transformers]提供了很多在文本、视觉和音频上的数以千计的训练模型。Transformers由三个流行的深度学习库(Jax, PyTorch, TensorFlow)提供支持的预训练先进模型库了，用于自然语言处理（文本），计算机视觉（图像）、音频和语音处理。

文本类

文本分类、信息提取、你问我答、摘要、翻译和文本生成等等，支持多种语言。

图像

图像分类、对象检测和分割等等。

音频

语音识别、音频分类等等。

结合模型

表格问答、光学字符识别、扫描文档提取信息、视频分类、视觉回答。

🤗 2. 安装

查看python版本

python -V

使用安装两个Python库，分别是transformers和datasets

!pip install transformers datasets // !感叹符号表示在某些继承开发环境中 运行命令。也可以去掉。

transformers是一个用于自然语言处理（NLP）任务，如文本分类、命名实体识别，机器翻译等，提供了预训练的语言模型（如BERT、GPT）同时用于模型训练、评估和推理的工具和API的Python库。

datasets是一个用来访问和处理各种NLP（Natural Language Processing）数据集的Python库，它提供了一个统一的接口，可以轻松地下载、加载，以及预处理各种常见的NLP数据集。

安装深度学习库 Pytorch 和 TensorFlow

pip install torch

pip install tensorflow

torch是一个广泛使用的深度学习框架，提供了用于构建和训练各种神经网络模型的工具和API，主要特点是动态计算图和易于使用的API。非常强大的学习框架工具。

tensorflow也是一个深度学习框架，由google开发的。用来构建和训练各种机器学习和深度学习的模型。

安装完成后，使用pip list查看开发环境第三方库上是否已经存在以上提到的几个库。

🤗 3. 使用

pipeline 管道

pipeline()的作用就是，跨不同模式使用。

类型	任务	描述	标识符
NLP（语言文本类）	情绪分析	分析一段文本是正能量和负能量	pipeline(task=“sentiment-analysis”)
NLP（语言文本类）	生成文本	根据一段提示生成文本	pipeline(task=“text-generation”)
NLP（语言文本类）	生成摘要	生成文档或文本的摘要	pipeline(task=“ummarization”)
视觉图像类	图像分类	给出一张图罗列出图片中物品	pipeline(task=“image-segmentation”)
视觉图像类	对象检测	预测照片中对象的位置和类目	pipeline(task=“object-detection”)
视觉图像类	图片转标题	为给定图像生成标题	pipeline(task=“image-to-text”)
音频类	音频分类	给音频场景分类	pipeline(task=“audio-classification”)
音频分类	音频转字幕	音频素材转字幕	pipeline(task=“automatic-speech-recognition”)

终端测试

情绪分析

打开Terminal终端:

输入python，进入python环境，

然后创建一个pipeline()实例:

>>> from transformers import pipeline

>>> classifier = pipeline("sentiment-analysis")

接着输入我们想要分析的文本即可:

单文本

多文本

传数组，然后遍历输出结果

目标检测

大家可以自行去[模型中心]去看看去测试一番，接下来介绍的是[DETR进行目标检测]。在这个模型当中，我们可以得到照片图像中检测到的对象预测列表，里面包含着物品名称和位置以及可信度。

html

css

js

效果

🤗 4. 写在末尾

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓