Mac 部署 GPT-2 预训练模型 gpt2-chinese-cluecorpussmall

逢生博客

已于 2024-05-14 15:54:50 修改

阅读量656

点赞数 4

文章标签： gpt

于 2024-04-18 09:30:01 首次发布

本文链接：https://blog.csdn.net/weixin_42607526/article/details/137883650

版权

文章目录

下载 GPT-2 模型
快速开始 GPT-2

下载 GPT-2 模型

https://huggingface.co/uer/gpt2-chinese-cluecorpussmall

在这里插入图片描述

git clone https://huggingface.co/uer/gpt2-chinese-cluecorpussmall
# 或单独下载 LFS
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/uer/gpt2-chinese-cluecorpussmall

快速开始 GPT-2

安装依赖

pip3 install torch torchvision torchaudio
pip3 install transformers

python脚本

from transformers import BertTokenizer, GPT2LMHeadModel, TextGenerationPipeline
tokenizer = BertTokenizer.from_pretrained("./gpt2-chinese-cluecorpussmall")
model = GPT2LMHeadModel.from_pretrained("./gpt2-chinese-cluecorpussmall")
text_generator = TextGenerationPipeline(model, tokenizer)   
result = text_generator("这是很久之前的事情了", max_length=100, do_sample=True)
print(result)