一、本节课主要实战的InternLM生态链工具介绍
1. InternLM是一个开源的轻量级训练框架,用于支持大模型训练。
2. 上海人工智能实验室已经发布了两个开源的预训练模型,分别是InternLM-7B和InternLM-20B。
3. Lagent是一个轻量的开源基于大模型的智能体框架,可以快速将大语言模型转变为多种类型的智能体。
4. 浦语灵笔是基于书生浦语大语言模型研发的视觉+语言大模型,具有出色的图文理解和创作能力。
二、创建开发机运行demo的基本流程
1. 使用特定配置云盘创建机器。
2. 机器创建完成后,进入排队等待状态。
3. 排队结束后,进入开发机。
4. 在开发机上打开终端环境。
5. 配置环境和下载模型,并进行demo的下载和运行。
三、开发机环境中的平台
1. 界面上有三个平台:jupyter lab、terminal和VS code。
2. 可以通过切换左上角的切换按钮来切换平台。
3. 在终端输入命令进入环境。
四、conda环境安装配置
环境搭建好了之后,用命令来激活一下环境。首先有一个base环境,还有一个我刚刚创建的InternLMdemo环境。前面的星就代表现在是在这个环境中的。可以升级PIP,出现PIP的警告可以忽略掉。然后是安装其他依赖,可直接粘贴教程的命令复制过来就行。
环境安装好之后要开始下载模型
- 环境安装好后进行第二步模型下载。有两种方式可以下载模型,一种是直接复制到intern studio平台的share目录下,另一种是使用model scope来下载模型,建议使用直接复制的方式。
2. 使用model scope下载模型速度较慢,需要十几分钟左右。
3. 直接复制模型的速度很快,几分钟内就可以完成
clone代码
克隆代码的步骤,需要在root路径下新建一个code目录,然后切换到该目录下。可以通过在该目录下创建一个新建文件夹的命令来新建code代码,也可以通过可视化操作实现。在code目录下,可以使用ls命令查看当前路径下的所有文件。
五、终端运行方式
1. 首先,使用终端运行命令创建一个CLI_demo文件。
2. 在代码中将地址改为本地地址。
3. 运行代码前,需要打开终端。
4. 终端的打开方式是通过将鼠标移到终端屏幕上的指定的Terminal位置。
ssh免密的配置
这里基本比较简单,就是要注意端口号每个人是不同的。要在开发机的位置点击获取实际端口号
点击后可看到ssh连接,特别注意其中的端口号的数字。
2. SSH 连接方式,作者以前比较习惯直接命令行vi,但听说vscodec的remote ssh也挺好用,特别可以自动端口转发,所以建议配置使用这种方式,但需要注意一个坑(就是下一条提到的问题),
3. vscodec 连接方式的问题。注意每次开发机关机后,再次用vscodec的remote ssh远程连接之前,都要先删除掉known_hosts中的开发机一行的内容(一般就是最后一行,以[ssh.intern-ai.org.cn]:开头的)
六、多模态能力
1. 多模态对话中对图片上的人数和活动进行提问。
2. 识别到了图片上有五个人在玩吉他,还有贝斯和钢琴。
3. 还可以添加其他图片,比如风景。