Windows 搭建自己的大模型-通义千问

1、安装 pytorch   https://pytorch.org/get-started/locally/ 点击进入官网,如图选择自己的环境得到pip安装依赖的命令:

pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu

2、拉取代码并安装依赖

# 拉取代码
git clone https://github.com/QwenLM/Qwen-7B.git
# 进入代码目录
cd Qwen-7B
# 安装依赖
pip install -r requirements.txt
# 安装 web_demo 依赖
pip install -r requirements_web_demo.txt

检出的项目为启动项目:Qwen-7B,不包含预训练好的模型文件。

3、启动模型

python web_demo.py --server-port 8087 --server-name "0.0.0.0"

不出意外的话,这里要出现意外了。OSError: We couldn't connect to 'https://huggingface.co' to load this file,大意是不能连接到https://huggingface.co下载模型文件。因为这个地址国内访问不了。只能自己下载模型文件到本地,离线启动。

4、模型下载

去魔搭官网下载:https://www.modelscope.cn/models/qwen/Qwen-7B-Chat/files

点击【下载模型】按钮,得到git仓库检出命令:

git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat.git

检出模型到本地目录,例如:D:\Qwen\Qwen-7B-Chat

5、修改启动项目:Qwen-7B

找到web_demo.py文件,如图

将DEFAULT_CKPT_PATH参数改为模型下载的路径:D:/Qwen/Qwen-7B-Chat

再次进行步骤3的python文件执行命令。即可启动成功

浏览器访问即可,如图

6、启动 openai api 形式的接口

安装依赖

pip install sse_starlette

启动API接口服务

python openai_api.py --server-port 8086 --server-name "0.0.0.0"

  • 9
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
通义千问-7b是一个基于自然语言处理技术的对话系统,为了提高用户的私密性和数据安全性,可以选择进行本地部署。 本地部署指的是将通义千问-7b的服务器部署在本地的服务器或者个人电脑上,通过对话请求与用户进行交互,而不是通过连接到远程服务器。 本地部署的优点是: 1. 数据安全性更高:用户的对话数据不会发送到外部服务器,所有数据都被保存在本地,减少了被黑客攻击和隐私泄露的风险。 2. 传输速度更快:与远程服务器相比,本地部署可以大大减少请求与响应的时间延迟,提高了系统的响应速度和交互的实时性。 3. 高度可定制性:本地部署可以根据实际需要进行自定义和扩展,可以根据自己的需求进行功能增加和流程优化。 然而,本地部署也存在一些挑战和限制: 1. 需要专业知识和技术支持:搭建和维护一个本地服务器需要一定的技术能力和知识储备,对于非技术人员来说可能会有一定的困难。 2. 成本较高:相比于使用云服务,本地部署需要购买硬件设备、配置网络环境以及负责维护和更新等工作,需要投入较多的资源和精力。 3. 依赖于本地环境:本地部署可能需要保证稳定的网络连接、高性能的硬件设备和充足的存储空间,否则可能会影响系统性能和用户体验。 综上所述,通义千问-7b的本地部署为用户提供了更高的数据安全性和更快的传输速度,同时也需要考虑到技术和资源上的一些挑战和限制。用户可以根据自己的需求和实际情况来选择适合自己的部署方式

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值