背景
最近在学习 InternLM (书生·浦语) 这个开源大模型的课程。
InternLM系列由 Shanghai AI Laboratory (上海人工智能实验室)研发,是一种以处理语言任务为核心的计算机程序,它能够与人类进行自然语言交互并完成一定意图的任务。
1 成功使用 Cli Demo 完成了 InternLM2-Chat-1.8B模型的部署
这是使用官网上自带的终端来部署模型的体验。这个用于快速熟悉流程和主要步骤是比较友好的方式。
前置
- 知道官网:https://studio.intern-ai.org.cn/,并且具有账号,按照一定流程具有体验时间和资源等。
- 创建开发机,并且配置好环相关的环境、安装依赖等。
- 在创建好开发机之后,点击下图所示的位置,就可以在官网使用终端了:
核心流程:
- 首先在指定位置创建
cli_demo.py
。 - 然后将示例代码粘贴。
- 然后通过
python /root/demo/cli_demo.py
来启动Demo。
体验效果:
首先,我用中英文问了几个基本的问题,看起来效果还是不错的:
让它个我编个故事:
提示:
一只小黑猫和一只小花猫关系不好,但是突然一起经历了一件事情,从此关系变得非常好了。请基于此帮我编一个200~300字的故事。
大概就是这样吧。
成功使用 Streamlit Web Demo 部署 InternLM2-Chat-1.8B 模型
前置:
- git clone 一下示例代码到本地,以便于后续执行。
- 然后执行代码,就可以启动一个streamlit服务了。(需要注意的是,如果提示没有streamlit的话,可能需要再
pip install streamlit==1.37.0
一下)
- ```shell
streamlit run /root/demo/Tutorial/tools/streamlit_demo.py --server.address 127.0.0.1 --server.port 6006
核心流程:
前置做好之后:
1 很容易就可以看到官网的终端页面出现如下提示:
2 此时点击这个URL,浏览器会自动新打开一个页签,但是提示:【 嗯… 无法访问此页面】
3 没错,这时候还需要配置一下SSH密码:
在本地的 终端中输入命令,然后增加自己的端口号、密码,就可以完成配置啦。
- 值得注意的是,新手可能不习惯终端的情况(比如我,所以也记录一下)。终端输入密码的时候界面是不发生变化的,只要确认自己手摁过了ctrl V以后,回车就行了额,虽然界面没有变化,但是已经成功了的呢~
- 还有一点可能会有坑,就是windows 的话,可能会有两个版本的终端;建议使用windows图标右键出来的那个终端(黑色底的),会更好一些,因为这个可以支持键盘ctrl V的粘贴。
之前使用过通过命令{win +R }喊出来的 windows Powershell(藏蓝色底的),好像不能支持(不清楚其他小伙伴的情况,已备参考)。