这篇文章整理了浦语大模型训练营第2次课的笔记,内容全面,非常感谢宋志学老师的真诚讲解,也期待更多人一起来学习哦!
1.大模型及InterLM模型介绍
1.1 什么是大模型
大模型是人工智能领域中拥有强大参数数量、庞大计算能力和参数规模的模型。
1.2 大模型的特点及应用
- 利用大量数据进行 训练
- 拥有数十亿甚至千亿个参数
- 模型在各种任务中展现出惊人的性能
1.3 InternLM模型介绍
InternLM
是上海人工智能实验室发布的一个开源的轻量级训练模型框架,支持大模型训练而无需大量的依赖。基于InternLM训练框架,主要有两个预训练模型:
-
InternLM-7B
-
InternLM-20B
-
智能体框架:Langent(轻量级)
-
浦语·灵笔:是一个视·语言大模型,有出色的图文理解和创作能力。
2.InternLM-Chat-7B智能对话Demo
2.1 模型介绍
通过单一的代码库,InternLM支持在拥有数千个GPU的大型集群上进行预训练,并在单个GPU上进行微调。
在1024个GPU上训练时,InternLM可以实现近90%的加速效率。
- InternLM-7B
- 参数:70亿参数为基础模型
- 为场景量身定制的对话模型
- 训练:数万亿高质量token,建立强大的知识库
- 支持8k token上下文窗口长度,输入序开更长并增强了推理能力
2.2 Lagent介绍
- 轻量级、开源
- 基于大语言模型的智能体(agent)框架
- 用户可以快速地将一个大语言模型转变为多种类型的智能体
- 提供典型工具为大语言模型赋能
如下图所示:
2.3 浦语·灵笔介绍
- 基于书生·浦语大模型开发的视觉·语言大模型
- 提供出色的图文理解和创作能力
- 为用户打造图文并茂的专属文章
- 设计了高效的训练策略,为模型注入海量的多模态概念和知识数据,赋予其强大的图文理解和对话能力。
3.通用换源设置
3.1 pip、conda换源
- pip换源设置pip默认镜像源,升级pip到最新版本(>=10.0.0)后进行配置,命令如下图所示:
- conda快速换源,命令如下图所示:
3.2 模型下载
方法一:下载Hugging Face命令行工具,并安装相关依赖,命令如下图所示:
方法二:使用OpenXLab指定模型仓库地址,先使用如下命令安装download
pip install -U openxlab
然后,将如下代码写入python文件,代码如下图所示:
方法三:使用modelscope中的snapshot_download函数下载模型
首先,安装依赖,代码如下:
pip instal modelscope
pip instal transformers
然后,在当前目录下新建python文件,填入下图代码:
4.部署InternLM-Chat-7B对话Demo
- Stp1:在InternLM实验平台创建开发机
- Stp2:进入开发机
- Stp3:bash,conda环境
- Stp4:下载模型,平台提供了镜像,直接复制模型
- Stp5:新建code文件,在该目录下创建代码.py文件
- Stp6:更新克隆好的版本
- Stp7:更新代码时,一定要按Ctrl+c保存代码
- Stp7:把训练营提供的代码复制,新建一个cls.py,粘贴进行
- Stp8:在VScode中运行代码,就可以在终端中运行模型
- Stp9:要自己的电脑上生成秘钥,并cat出来,复制
- Stp10:到实验平台配置秘钥
- Stp11:把训练营提供的命令,回到自己电脑进行SSH连接
- Stp12:打开实验平台中生成的链接,打开链接,等待模型加载完成,就可以对话写文章了
5.部署智能体工具调用Demo
- 直接用上例中的环境
- Stp1:克隆模型
- Stp2:Lagent安装
- Stp3:修改代码,用训练营文档中提供的代码,按文档指导复制进去
- Stp4:运行Demo
- Stp5:打开平台生成的链接,就可以使用了,例如让模型做一道数学题
6.浦语·灵笔Demo部署
- Stp1:创建开发机,要用A100(1/4)*2
- Stp2:进入开发机
- Stp3:进入cadon环境
- Stp4:克隆环境并激活
- Stp5:下载模型
- Stp6:克隆仓库
- Stp7:准备代码:直接使用技术文档中的代码
- Stp8:运行代码,配置本地SSH通信端口
- Stp9:等待模型加载完成后,登录网址,体验图文创作
这是听课笔记,详情请阅读我的实操笔记,如果你想深入学习,请一起来浦语模型训练营一起学习,平台提供免费的算力和实验环境。