从零开始使用 Hugging Face 的开源模型

前言

看到这篇文章的各位想必对 Hugging Face 都有所耳闻了。作为 AI 时代的开源重要阵地，我们可以在这里找到特别多的一手开源模型，直接部署到本机进行调试。

但是究竟怎么开始，尤其是对于非常多没有接触过 AI 模型的同学来说，从直接使用现成的 ChatGPT 到部署一个本地 AI 模型将是一个非常大的跨度，很多人直接就望而却步了，也很多人卡在实现第一个本地部署模型上，这里面的原因包括但不限于代码部署、下载模型失败等等。

笔者也经历过这个阶段，我一直坚信的一句话是，从0到1的突破更多是克服恐惧，从1到100更多是持续的坚持。所以今天我将会从自己的经验出发，介绍如何从零开始在本地部署一个 Hugging Face 开源模型，并使用它。

寻找你想要的模型

首先，你要想清楚自己的目标，比如我这里的目标是想要看一下别人的AI生成文本的检测模型。那么我们就进入 Hugging Face 的官网。

我们选择其中一个进入模型的介绍页面，比如我这里选择了 yongchao/ai_text_detector

在这个模型下面会有一些介绍，比如训练的基础模型是 BERT，训练的轮次，数据等等。

红框标记的地方可以复制后续我们要下载模型所用的参数。

生成你的 Token

通过 Python 代码下载模型时，Hugging Face 需要校验你的 Token 信息。我们进入设置页面生成一个只允许下载公共仓库的 Token 即可。

完成上面的步骤后，第三个页面的底部有个完成按钮，点击后，你会生成一个 Token，记得保存到本地，后续需要用到这个 Token 用以下载模型。

下载必要的包和修改下载源

以笔者这个模型为例，需要用到的包有以下几个

transformers==4.35.0
huggingface-hub==0.17.3
torch==2.1.0+cu118

torch 这个我使用了 CUDA 11.8 版本，如果你没有 CUDA 显卡的话，只需要安装前面的 2.1.0 即可。

这几个包直接下载的话，可能会碰到网络不通的情况，可以尝试使用国内的源进行下载

pip install transformers==4.35.0 -i https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

配置国内源有好几种办法，可以自己搜索或者使用大模型查询。

同样的，huggingface-hub 的默认源也是海外的，一样可以使用国内镜像源来替换，这样可以防止后续下载速度过慢，甚至直接报无法连接的错误。

与 Python 包的下载不一样，这里要通过配置环境变量的方式去修改。

vim ~/.bashrc
export HF_ENDPOINT=https://hf-mirror.com
:wq
source ~/.bashrc

Mac 或 Linux 的读者可以使用上面的命令，修改配置文件后生效使用。

Windows 的用户可以在环境配置里生成新的环境变量。

代码

这部分其实也是没入门觉得难，入门了觉得很简单，废话不多说，直接上代码。

from transformers import AutoModelForSequenceClassification, AutoTokenizer
from huggingface_hub.hf_api import HfFolder

text = 'The sunlight streamed through the tall windows, casting a warm glow on the polished wooden table where I sat'

HfFolder.save_token('刚刚你生成的Token复制到这里')

model = AutoModelForSequenceClassification.from_pretrained("yongchao/ai_text_detector", use_auth_token=True)

tokenizer = AutoTokenizer.from_pretrained("yongchao/ai_text_detector", use_auth_token=True)

inputs = tokenizer(sentence, return_tensors="pt")
outputs = model(**inputs)

print(outputs)

运行这个脚本，首先会去检测模型是否已经下载好了，如果没有，就会去刚刚修改的镜像HF网站下载该模型。下载好之后就会执行代码，并得到结果。

# 模型执行结果
SequenceClassifierOutput(loss=None, logits=tensor([[ 0.7496, -0.8134]], grad_fn=<AddmmBackward0>), hidden_states=None, attentions=None)

很好，模型执行成功了~但是结果怎么看呢？

像上面的模型结果中 logits=tensor([[ 0.7496, -0.8134]] 只有两个结果，不难猜测应该一个是 AI 结果的分数，一个是人类结果的分数。但是究竟哪个是呢？并且这个结果很可能不止2个，会有4/5/6 甚至几十个。

这里我们就要回到 Hugging Face 了。

找到上面搜到的模型的页面，切换到 File and versions，然后点击 config.json 文件，里面藏了一个标签信息。

参照这个config.json中的信息，可以确认 0.7496 是 AI 的分数，而 -0.8134 就是人类的分数，最终结果是这句话被判断为是 AI 生成的。

总结

0到1的突破，是面对恐惧的突破。
根据上面的步骤操作，相信应该可以很顺利的跑起来一个 AI 模型。

有其他更多问题，欢迎关注、评论。

零基础入门AI大模型

今天贴心为大家准备好了一系列AI大模型资源，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

有需要的小伙伴，可以点击下方链接免费领取【保证100%免费】

点击领取 《AI大模型&人工智能&入门进阶学习资源包》

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

5.免费获取

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码或者点击以下链接都可以免费领取【保证100%免费】

点击领取 《AI大模型&人工智能&入门进阶学习资源包》