如何部署属于自己的大语言模型

超级酷乐猫

已于 2023-04-10 16:43:31 修改

阅读量1.1k

点赞数 1

文章标签：语言模型人工智能自然语言处理

于 2023-04-10 16:42:31 首次发布

本文链接：https://blog.csdn.net/weixin_39759781/article/details/130063164

版权

本文介绍了如何部署属于自己的大语言模型，包括从Hugging Face下载开源模型、训练、转化为API服务，以及通过前端框架创建可视化界面。利用专业领域的数据微调开源模型，为公司打造定制化的大语言模型解决方案。

摘要由CSDN通过智能技术生成

随着chatgpt的持续火爆，越来越多的大语言模型被开发出来，大语言模型集成到现有的应用中已是大势所趋，从零到一开发一个自研的大语言模型几乎不可能，但是随着大语言模型的快速发展，开源的大语言模型如雨后春笋般出现在市面上，我们可以通过部署这些开源的大语言模型完成公司自己的大语言模型的使用。

部署开源的大语言模型可以分为一下几个步骤：

1.从Models - Hugging Face上下载开源的模型，将下载的模型上传到服务器（gpu服务器）上

2.从网上搜集符合模型训练数据格式的数据进行模型的训练，比如你想要一个金融领域的大语言模型，你可以从网上专门搜集各种金融领域的数据作为训练数据。

3.通过模型提供的训练方法对模型进行训练，生成训练好的模型

4.将服务器上的模型通过flask或者其他的方式转成api的形式，附代码：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model

关注