Linux环境下部署书生·浦语AI大模型-基于厚德云-CSDN博客

本文链接：https://blog.csdn.net/taogumo/article/details/141904183

算力环境配置参考：
Linux环境下部署百度百川AI大模型-基于厚德云-CSDN博客

骤一：下载InternLM2模型

cd /workspace/
git  clone https://github.moeyy.xyz/https://github.com/InternLM/InternLM.git

步骤二：下载依赖

/workspace/InternLM/
pip install -r requirements.txt
pip install bitsandbytes==0.41.1
pip install accelerate==0.25.0
pip install streamlit
sudo apt update
sudo apt install git-lfs

步骤三：下载模型库

mkdir internlm
cd internlm
git clone https://www.modelscope.cn/Shanghai_AI_Laboratory/internlm2-chat-7b.git

步骤四：启动大模型

cd /workspace/InternLM
streamlit run ./chat/web_demo.py

依靠 streamlit 运行命令，会在本地启动一个 web 服务，把控制台给出的地址放入浏览器即可访问。网页 demo 工具是为 Chat 场景设计，因此不支持使用该工具调用 Base 模型。

步骤五：打开网页并应用

设置8501端口可用

步骤六、使用大模型

浏览器输入

Streamlithttp://211.93.18.69:64123/

或

Streamlithttp://zhy1.dc.houdeyun.cn:64123/

参考

大语言模型 InternLM2（书生·浦语）一键部署_internlm2-20b-CSDN博客