算力环境配置参考:
Linux环境下部署百度百川AI大模型-基于厚德云-CSDN博客
骤一:下载InternLM2模型
cd /workspace/
git clone https://github.moeyy.xyz/https://github.com/InternLM/InternLM.git
步骤二:下载依赖
/workspace/InternLM/
pip install -r requirements.txt
pip install bitsandbytes==0.41.1
pip install accelerate==0.25.0
pip install streamlit
sudo apt update
sudo apt install git-lfs
步骤三:下载模型库
mkdir internlm
cd internlm
git clone https://www.modelscope.cn/Shanghai_AI_Laboratory/internlm2-chat-7b.git
步骤四:启动大模型
cd /workspace/InternLM
streamlit run ./chat/web_demo.py
依靠 streamlit 运行命令,会在本地启动一个 web 服务,把控制台给出的地址放入浏览器即可访问。网页 demo 工具是为 Chat 场景设计,因此不支持使用该工具调用 Base 模型。
步骤五:打开网页并应用
设置8501端口可用
步骤六、使用大模型
浏览器输入
Streamlithttp://211.93.18.69:64123/
或
Streamlithttp://zhy1.dc.houdeyun.cn:64123/
参考