Windows本地部署ChatGLM3-6B模型

        往期已经进行过ChatGLM3的部署了,感兴趣的可以搜索往期的博客,我们今天主要使用github项目工程提供的demo进行玩耍,ok开始。

环境配置

       1. github网址,进入网址出现下图,下载代码压缩包

        2. 本地解码代码压缩包,并安装依赖环境

        pip install -r requirements.txt

        3. 下载模型文件,官方提供三种下载方式,下载巨慢、巨慢、巨慢(重要的事情说三遍)!

使用 Huggingface 下载模型
    git lfs install
    git clone https://huggingface.co/THUDM/chatglm3-6b.git

使用 Modelscope 下载模型
    git lfs install
    git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
    
使用 SwanHub 下载模型
    git lfs install
    git clone https://swanhub.co/ZhipuAI/chatglm3-6b.git

运行demo

        如果一切安装下载正常,我们就可以开始玩耍了,首先玩的方式有三种,分别是:命令行模式、Gradio模式、Streamlit模式。

        1. 命令行模式(cd 进入 basic_demo并打开命令行运行如下语句)

    python cli_demo.py

        效果如下:

        2. Gradio模式(cd 进入 basic_demo并打开命令行运行如下语句)

    python web_demo_gradio.py

        效果如下(怎么还跑抽风了。。。):

        3. Streamlit模式,比较推荐这个模式,运行起来比较流畅

    streamlit run web_demo_streamlit.py

        效果如下:

结尾

有关于其他的部署细节可以进群问哦
如果觉得文章对你有用请点赞、关注  ->> 你的点赞对我太有用了
群内交流更多技术
130856474  <--  在这里

  • 24
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
当然,我可以帮助你部署ChatGPT模型。以下是一步一步的指南: 步骤1:准备环境 首先,你需要一个Python环境来运行模型。确保你已经安装了Python 3.6或更高版本。 步骤2:安装依赖项 在命令行中打开一个新的终端窗口,并使用以下命令安装所需的依赖项: ``` pip install transformers flask ``` 步骤3:下载并解压模型 从CSDN下载chatglm2-6b模型的权重文件,并将其解压缩到你选择的目录中。 步骤4:创建Flask应用程序 在你选择的目录中创建一个名为app.py的Python文件,并使用以下代码创建一个基本的Flask应用程序: ```python from flask import Flask, request, jsonify from transformers import GPT2LMHeadModel, GPT2Tokenizer app = Flask(__name__) model_path = "path/to/your/model" tokenizer = GPT2Tokenizer.from_pretrained(model_path) model = GPT2LMHeadModel.from_pretrained(model_path) @app.route("/chat", methods=["POST"]) def chat(): data = request.json input_text = data["input_text"] input_ids = tokenizer.encode(input_text, return_tensors="pt") output = model.generate(input_ids, max_length=100) response = tokenizer.decode(output[0], skip_special_tokens=True) return jsonify({"response": response}) if __name__ == "__main__": app.run(host="0.0.0.0", port=5000) ``` 步骤5:运行应用程序 在终端窗口中,导航到包含app.py文件的目录,并运行以下命令来启动应用程序: ``` python app.py ``` 步骤6:测试应用程序 使用HTTP客户端(如Postman或cURL)向http://localhost:5000/chat发送POST请求,并在请求正文中包含以下JSON数据: ```json { "input_text": "你想说的话" } ``` 你将收到一个包含ChatGPT模型生成的响应的JSON响应。 这就是部署chatglm2-6b模型的基本步骤。你可以根据需要进行修改和扩展。希望这可以帮助到你!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值