InternLM介绍以及Demo实践

InternLM开源模型和工具

什么是大模型？

大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构，如 Transformer、BERT、GPT（ Generative Pre-trained Transformer ）等。

大模型的优势在于其能够捕捉和理解数据中更为复杂、抽象的特征和关系。通过大规模参数的学习，它们可以提高在各种任务上的泛化能力，并在未经过大量特定领域数据训练的情况下实现较好的表现。然而，大模型也面临着一些挑战，比如巨大的计算资源需求、高昂的训练成本、对大规模数据的依赖以及模型的可解释性等问题。因此，大模型的应用和发展也需要在性能、成本和道德等多个方面进行权衡和考量。

InternLM 模型全链条开源

• InternLM：训练框架+模型
  InternLM :是一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖。通过单一的代码库，它支持在拥有数千个 GPU 的大型集群上进行预训练，并在单个 GPU 上进行微调，同时实现了卓越的性能优化。在 1024 个 GPU 上训练时，InternLM 可以实现近 90% 的加速效率。
  基于 InternLM 训练框架，上海人工智能实验室已经发布了两个开源的预训练模型：InternLM-7B 和 InternLM-20B。
• Lagent：智能体框架
  Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。通过 Lagent 框架可以更好的发挥 InternLM 的全部性能。
  
• 浦语.灵笔：多模态
  浦语·灵笔是基于书生·浦语大语言模型研发的视觉-语言大模型，提供出色的图文理解和创作能力，结合了视觉和语言的先进技术，能够实现图像到文本、文本到图像的双向转换。使用浦语·灵笔大模型可以轻松的创作一篇图文推文，也能够轻松识别一张图片中的物体，并生成对应的文本描述。
• 代码目录
  

项目笔记和问题

开发机注意事项

问题

vscode连接

vscode 直接再次连接开发机是出现了错误：
xxx:port forwarding is disabled(忘记截图)
解决方法，删除.ssh/config下的 know_hosts
VSCode remote 远程开发，报错：remote host key has changed port forwarding is disabled-CSDN博客

demo运行

完成本地API+demo运行后，load_model()时，出现https错误

原因：忘记换掉model路径(难绷…)

role错误

role写成了system，但似乎streamlit的session_state.messages中，没有system的prompt角色
改成user就没问题了

InternLM-Chat-7B 智能对话 Demo

InternLM是一个包括加载模型，部署，微调和预训练功能在内的大模型代码库，还可以和其他框架搭配进行大模型应用，这个demo是展示的最基础的智能对话部署和交互。

InternLM代码库

InternLM代码库：https://gitee.com/internlm/InternLM.git
* InternLM：训练框架+模型
* Lagent：智能体框架
* 浦语.灵笔：多模态
* 文件目录：

终端运行

/root/code/InternLM 目录下新建一个 cli_demo.py 文件

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM


model_name_or_path = "/root/model/Shanghai_AI_Laboratory/internlm-chat-7b"

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='auto')
model = model.eval()

system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
"""

messages = [(system_prompt, '')]

print("=============Welcome to InternLM chatbot, type 'exit' to exit.=============")

while True:
    input_text = input("User  >>> ")
    input_text = input_text.replace(' ', '')
    if input_text == "exit":
        break
    response, history = model.chat(tokenizer, input_text, history=messages)
    messages.append((input_text, response))
    print(f"robot >>> {response}")

然后在终端运行以下命令，即可体验 InternLM-Chat-7B 模型的对话能力。对话效果如下所示：

python /root/code/InternLM/cli_demo.py

web部署

配置本地API：ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 33495(记得换成自己的端口)
运行demo：streamlit run web_demo.py --server.address 127.0.0.1 --server.port 6006
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 33908-CSDN博客

角色设置

仿照终端运行中的，设置初始角色：书生浦语

代码比较糙，后续打算看一下streamlit，看看有没有对应的功能的API
后续可以试一下，设置一个UI设置不同的初始角色

作业—生成小故事

作业 Transformers下载模型

snapshot

ModelScope

# model_scope snapshot下载

from modelscope import snapshot_download

snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b',cache_dir="/root/model/Shanghai_AI_Laboratory", revision='master')

Hugging Face

命令行

import os
os.system("export \"HF_ENDPOINT= https://hf-mirror.com\"")
os.system('huggingface-cli download --resume-download \'microsoft/phi-2\' --local-dir /root/model')

Lagent 智能体工具调用 Demo(进阶作业)

问题

chatgpt无法连接
InternLM要下载最新的(从modelscope中下载的不行)

结果图

浦语·灵笔图文理解创作 Demo(进阶作业)