书生浦语大模型实战营第二课: 轻松玩转书生·浦语大模型趣味 Demo

1. 大模型以及InternLM 模型的简介（总结和自己的思考）

• 什么是大模型：

• 大模型是指在机器学习和人工智能领域中，拥有庞大参数数量、强大计算能力和规模的模型。它们利用大量数据进行训练，参数数量可达数十亿或数千亿。这些模型的崛起得益于数据增长、计算能力提升和算法优化。它们在各种任务中表现出卓越性能，如自然语言处理、计算机视觉和语音识别，通常采用深度神经网络结构如Transformer、BERT、GPT等。
• 大模型的优势在于能够捕捉和理解数据中更复杂、抽象的特征和关系，提高泛化能力，甚至在未经领域特定数据训练的情况下表现出色。然而，它们也面临挑战，包括巨大的计算资源需求、高昂的训练成本、对大规模数据的依赖以及模型可解释性等问题。因此，在应用和发展大模型时需要在性能、成本和道德等多个方面进行权衡和考虑。

• InternLM 模型全链条开源：

• InternLM是一个开源的轻量级训练框架，旨在支持大模型训练而无需大量依赖。该框架通过单一的代码库，支持在拥有数千个GPU的大型集群上进行预训练，并在单个GPU上进行微调，同时实现卓越性能优化。在使用1024个GPU进行训练时，InternLM能够实现近90%的加速效率。
• 此外，上海人工智能实验室已经基于InternLM训练框架发布了两个开源的预训练模型：InternLM-7B和InternLM-20B。另外，Lagent是一个轻量级、开源的基于大语言模型的智能体框架，它支持用户快速将大语言模型转变为多种类型的智能体，并提供一些典型工具来赋能大语言模型。通过Lagent框架，可以更好地发挥InternLM的性能潜力，为构建多种类型的智能体提供了便捷的解决方案。

2. InternLM-Chat-7B 智能对话 Demo（操作流程以及遇到的问题）

• 连服务器
• 进开发机
• conda个环境and pip一些package
• 下载模型（分为两种：复制粘贴ormodelscope ）
• mkdir -p /root/model/Shanghai_AI_Laboratory
  cp -r /root/share/temp/model_repos/internlm-chat-7b /root/model/Shanghai_AI_Laboratory
• 准备代码：
• cd /root/code
  git clone https://gitee.com/internlm/InternLM.git
• cd InternLM
  git checkout 3028f07cb79e5b1d7342f4ad8d11efad3fd13d17
• 新建cli_demo.py
• 运行demo python /root/code/InternLM/cli_demo.py
• 遇到的问题：ssh链接了两次导致错误

使用7b生成300字的小故事

• 终端版本

• web_demo版本

3. Lagent 智能体工具调用 Demo

• 连服务器
• 进开发机
• conda个环境and pip一些package
• 下载模型（分为两种：复制粘贴ormodelscope ）
• mkdir -p /root/model/Shanghai_AI_Laboratory
  cp -r /root/share/temp/model_repos/internlm-chat-7b /root/model/Shanghai_AI_Laboratory
• 准备代码：
• cd /root/code
  git clone https://gitee.com/internlm/InternLM.git
• cd InternLM
  git checkout 3028f07cb79e5b1d7342f4ad8d11efad3fd13d17
• 替换这段代码
• /root/code/lagent/examples/react_web_demo.py
• 运行demo
• streamlit run /root/code/lagent/examples/react_web_demo.py --server.address 127.0.0.1 --server.port 6006

完成 Lagent 工具调用 Demo 创作部署

4. 浦语·灵笔图文理解创作 Demo

• 连服务器（得换卡昂！）
• 进开发机
• conda个环境and pip一些package
• 下载模型（分为两种：复制粘贴ormodelscope ）
• mkdir -p /root/model/Shanghai_AI_Laboratory
  cp -r /root/share/temp/model_repos/internlm-chat-7b /root/model/Shanghai_AI_Laboratory
• 准备代码：
• cd /root/code
  git clone https://gitee.com/internlm/InternLM-XComposer.git
• cd /root/code/InternLM-XComposer
  git checkout 3e8c79051a1356b9c388a6447867355c0634932d  # 最好保证和教程的 commit 版本一致
• 运行demo
• cd /root/code/InternLM-XComposer
  python examples/web_demo.py  \
      --folder /root/model/Shanghai_AI_Laboratory/internlm-xcomposer-7b \
      --num_gpus 1 \
      --port 6006

完成浦语·灵笔的图文理解及创作部署