InternLM实战营第二期

Lagent介绍：

        一个轻量级的开源框架，帮助用户高效构建基于大型语言模型（LLM）的智能代理。它还提供了一些典型的工具来增强LLM的功能。

        主要特点包括高效的推理引擎支持、对多种代理的支持、极简易的扩展能力以及支持多种LLM，如GPT-3.5/4、LLaMA 2和InternLM等。

        Lagent的设计旨在提高扩展性和可用性，允许用户通过简单的继承和装饰来创建个性化的工具集，从而使模型到智能代理的转换只需一步操作。此外，Lagent的文档也经过了全面的升级，覆盖了完整的API文档。

        Lagent支持通过简单的代码定义智能代理、动作以及与LLM的交互，使得构建智能代理变得更加直接和灵活。

        当前，LLM Agent正处于实验和概念验证阶段。在实际使用中还面临着诸多挑战，如处理任务时的循环问题、记忆模块的策略问题以及因幻觉问题而错误使用工具的问题等。这些问题的解决需要LLM本身的进一步发展和Agent框架的优化。然而，围绕LLM Agent的生态正在逐渐丰富，探索Agent模型、框架以及应用的研究正在积极进行中，旨在提升Agent的能力，使其能更好地应对现实世界的复杂性。

实操部分：

1. 运行cli_demo

下载模型参数文件

import os
from modelscope.hub.snapshot_download import snapshot_download

# 创建保存模型目录
os.system("mkdir /root/models")

# save_dir是模型保存到本地的目录
save_dir="/root/models"

snapshot_download("Shanghai_AI_Laboratory/internlm2-chat-1_8b", 
                  cache_dir=save_dir, 
                  revision='v1.1.0')

执行以下代码

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM


model_name_or_path = "/root/models/Shanghai_AI_Laboratory/internlm2-chat-1_8b"

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True, device_map='cuda:0')
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='cuda:0')
model = model.eval()

system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
"""

messages = [(system_prompt, '')]

print("=============Welcome to InternLM chatbot, type 'exit' to exit.=============")

while True:
    input_text = input("\nUser  >>> ")
    input_text = input_text.replace(' ', '')
    if input_text == "exit":
        break

    length = 0
    for response, _ in model.stream_chat(tokenizer, input_text, messages):
        if response is not None:
            print(response[length:], flush=True, end="")
            length = len(response)

加载完毕后输入指令：

请创作一个 300 字的小故事

结果：

2.  图文创作及视觉问答

配置环境

conda activate demo
# 补充环境包
pip install timm==0.4.12 sentencepiece==0.1.99 markdown2==2.4.10 xlsxwriter==3.1.2 gradio==4.13.0 modelscope==1.9.5
下载 InternLM-XComposer 仓库 相关的代码资源
cd /root/demo
git clone https://gitee.com/internlm/InternLM-XComposer.git
# git clone https://github.com/internlm/InternLM-XComposer.git
cd /root/demo/InternLM-XComposer
git checkout f31220eddca2cf6246ee2ddf8e375a40457ff626
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-7b /root/models/internlm-xcomposer2-7b
构造软链接快捷访问方式：
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b /root/models/internlm-xcomposer2-vl-7b

启动 InternLM-XComposer

cd /root/demo/InternLM-XComposer
python /root/demo/InternLM-XComposer/examples/gradio_demo_composition.py  \
--code_path /root/models/internlm-xcomposer2-7b \
--private \
--num_gpus 1 \
--port 6006

打开 http://127.0.0.1:6006 实践效果如下图所示：

图片理解部分：

启动 InternLM-XComposer2-vl：

conda activate demo

cd /root/demo/InternLM-XComposer
python /root/demo/InternLM-XComposer/examples/gradio_demo_chat.py  \
--code_path /root/models/internlm-xcomposer2-vl-7b \
--private \
--num_gpus 1 \
--port 6006

打开 http://127.0.0.1:6006 (上传图片后) 键入内容示例如下：

请分析一下图中内容

实践效果如下图所示：

3. huggingface 下载InternLM2-Chat-7B 的 config.json 文件到本地

import os 
from huggingface_hub import hf_hub_download  # Load model directly 

hf_hub_download(repo_id="internlm/internlm2-7b", filename="config.json")

结果：