【AI基础】第六步:纯天然保姆喂饭级-安装并运行qwen2-7b

整体步骤类似于 【AI基础】第五步:纯天然保姆喂饭级-安装并运行chatglm3-6b-CSDN博客

此系列文章列表:

【AI基础】概览

【AI基础】第一步:安装python开发环境-windows篇_下载安装ai环境python

【AI基础】第一步:安装python开发环境-conda篇_minicode怎么换虚拟环境

【AI基础】第二步:安装AI运行环境

【AI基础】第三步:纯天然保姆喂饭级-安装并运行chatglm2-6b

【AI基础】第四步:保姆喂饭级-langchain+chatglm2-6b

【AI基础】第五步:纯天然保姆喂饭级-安装并运行chatglm3-6b

【AI基础】第六步:纯天然保姆喂饭级-安装并运行qwen2-7b

一、安装miniconda

参考 【AI基础】第一步:安装python开发环境-conda篇_minicode怎么换虚拟环境-CSDN博客

二、安装CUDA、cuDNN和pyTorch

参考 【AI基础】第二步:安装AI运行环境-CSDN博客

> pip install protobuf transformers==4.40.0 cpm_kernels torch>=2.3.0 sentencepiece accelerate

三、安装部署qwen2-7b

3.1 创建环境

> conda create --name qwen2 python=3.11
> conda activate qwen2
> git clone https://github.com/QwenLM/Qwen2
> cd qwen2

3.2 安装依赖

安装gradio模块,会在后续web示例中用到:

> pip install gradio -i https://pypi.tuna.tsinghua.edu.cn/simple/
  • -i https://pypi.tuna.tsinghua.edu.cn/simple/,使用清华源,避免从官方下载造成速度慢。

3.3 下载大模型文件

3.3.1 HuggingFace下载

下载地址:https://huggingface.co/Qwen/Qwen2-7B

3.3.2 国内下载

综合镜像站:

3.3.3 下载完成

下载到本地的默认下载地址,文件结构如图(图中文件,一个都不能少):

 

3.4 运行代码

examples文件夹下有多个示例,这里运行web示例。

先指定大模型所在路径为 DEFAULT_CKPT_PATH='c:\\ai\\llms\\qwen2-7b',并且移除仅CPU运行参数(如上图),最后运行命令:

> python .\examples\demo\web_demo.py

运行完成后,打开浏览器访问 http://127.0.0.1:8000:

运行成功。 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值