成功使用8G 显存体验书生大模型 Demo

背景

最近在学习 InternLM (书生·浦语) 这个开源大模型的课程。
InternLM系列由 Shanghai AI Laboratory (上海人工智能实验室)研发，是一种以处理语言任务为核心的计算机程序，它能够与人类进行自然语言交互并完成一定意图的任务。

1 成功使用 Cli Demo 完成了 InternLM2-Chat-1.8B模型的部署

这是使用官网上自带的终端来部署模型的体验。这个用于快速熟悉流程和主要步骤是比较友好的方式。

前置

• 知道官网：https://studio.intern-ai.org.cn/，并且具有账号，按照一定流程具有体验时间和资源等。
• 创建开发机，并且配置好环相关的环境、安装依赖等。
• 在创建好开发机之后，点击下图所示的位置，就可以在官网使用终端了：
  

核心流程：

• 首先在指定位置创建 cli_demo.py。
• 然后将示例代码粘贴。
• 然后通过 python /root/demo/cli_demo.py 来启动Demo。

体验效果：

首先，我用中英文问了几个基本的问题，看起来效果还是不错的：

让它个我编个故事：

提示：
一只小黑猫和一只小花猫关系不好，但是突然一起经历了一件事情，从此关系变得非常好了。请基于此帮我编一个200~300字的故事。

大概就是这样吧。

成功使用 Streamlit Web Demo 部署 InternLM2-Chat-1.8B 模型

前置：

• git clone 一下示例代码到本地，以便于后续执行。
• 然后执行代码，就可以启动一个streamlit服务了。（需要注意的是，如果提示没有streamlit的话，可能需要再 pip install streamlit==1.37.0 一下）

- ```shell
streamlit run /root/demo/Tutorial/tools/streamlit_demo.py --server.address 127.0.0.1 --server.port 6006

核心流程：

前置做好之后：

1 很容易就可以看到官网的终端页面出现如下提示：

2 此时点击这个URL，浏览器会自动新打开一个页签，但是提示：【 嗯… 无法访问此页面】

3 没错，这时候还需要配置一下SSH密码：

在本地的 终端中输入命令，然后增加自己的端口号、密码，就可以完成配置啦。
- 值得注意的是，新手可能不习惯终端的情况（比如我，所以也记录一下）。终端输入密码的时候界面是不发生变化的，只要确认自己手摁过了ctrl V以后，回车就行了额，虽然界面没有变化，但是已经成功了的呢~
- 还有一点可能会有坑，就是windows 的话，可能会有两个版本的终端；建议使用windows图标右键出来的那个终端（黑色底的），会更好一些，因为这个可以支持键盘ctrl V的粘贴。
之前使用过通过命令{win +R }喊出来的 windows Powershell（藏蓝色底的），好像不能支持（不清楚其他小伙伴的情况，已备参考）。

4 现在就可以看到如下界面了：