InternLM开源模型和工具
什么是大模型?
大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练,并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能,比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构,如 Transformer
、BERT
、GPT
( Generative Pre-trained Transformer )等。
大模型的优势在于其能够捕捉和理解数据中更为复杂、抽象的特征和关系。通过大规模参数的学习,它们可以提高在各种任务上的泛化能力,并在未经过大量特定领域数据训练的情况下实现较好的表现。然而,大模型也面临着一些挑战,比如巨大的计算资源需求、高昂的训练成本、对大规模数据的依赖以及模型的可解释性等问题。因此,大模型的应用和发展也需要在性能、成本和道德等多个方面进行权衡和考量。
InternLM 模型全链条开源
- InternLM:训练框架+模型
InternLM
:是一个开源的轻量级训练框架,旨在支持大模型训练而无需大量的依赖。通过单一的代码库,它支持在拥有数千个GPU
的大型集群上进行预训练,并在单个GPU
上进行微调,同时实现了卓越的性能优化。在1024
个GPU
上训练时,InternLM
可以实现近90%
的加速效率。
基于InternLM
训练框架,上海人工智能实验室已经发布了两个开源的预训练模型:InternLM-7B
和InternLM-20B
。 - Lagent:智能体框架
Lagent
是一个轻量级、开源的基于大语言模型的智能体(agent)框架,支持用户快速地将一个大语言模型转变为多种类型的智能体,并提供了一些典型工具为大语言模型赋能。通过Lagent
框架可以更好的发挥InternLM
的全部性能。
- 浦语.灵笔:多模态
浦语·灵笔是基于书生·浦语大语言模型研发的视觉-语言大模型,提供出色的图文理解和创作能力,结合了视觉和语言的先进技术,能够实现图像到文本、文本到图像的双向转换。使用浦语·灵笔大模型可以轻松的创作一篇图文推文,也能够轻松识别一张图片中的物体,并生成对应的文本描述。 - 代码目录
项目笔记和问题
开发机注意事项
问题
vscode连接
vscode 直接再次连接开发机是出现了错误:
xxx:port forwarding is disabled(忘记截图)
解决方法,删除.ssh/config下的 know_hosts
VSCode remote 远程开发,报错:remote host key has changed port forwarding is disabled-CSDN博客
demo运行
完成本地API+demo运行后,load_model()时,出现https错误
原因:忘记换掉model路径(难绷…)
role错误
role
写成了system
,但似乎streamlit的session_state.messages
中,没有system
的prompt角色
改成user
就没问题了
InternLM-Chat-7B 智能对话 Demo
InternLM是一个包括加载模型,部署,微调和预训练功能在内的大模型代码库,还可以和其他框架搭配进行大模型应用,这个demo是展示的最基础的智能对话部署和交互。
InternLM代码库
InternLM代码库:https://gitee.com/internlm/InternLM.git
* InternLM:训练框架+模型
* Lagent:智能体框架
* 浦语.灵笔:多模态
* 文件目录:
终端运行
/root/code/InternLM
目录下新建一个 cli_demo.py
文件
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name_or_path = "/root/model/Shanghai_AI_Laboratory/internlm-chat-7b"
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='auto')
model = model.eval()
system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
"""
messages = [(system_prompt, '')]
print("=============Welcome to InternLM chatbot, type 'exit' to exit.=============")
while True:
input_text = input("User >>> ")
input_text = input_text.replace(' ', '')
if input_text == "exit":
break
response, history = model.chat(tokenizer, input_text, history=messages)
messages.append((input_text, response))
print(f"robot >>> {response}")
然后在终端运行以下命令,即可体验 InternLM-Chat-7B
模型的对话能力。对话效果如下所示:
python /root/code/InternLM/cli_demo.py
web部署
配置本地API:ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 33495
(记得换成自己的端口)
运行demo:streamlit run web_demo.py --server.address 127.0.0.1 --server.port 6006
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 33908-CSDN博客
角色设置
仿照终端运行中的,设置初始角色:书生浦语
代码比较糙,后续打算看一下streamlit,看看有没有对应的功能的API
后续可以试一下,设置一个UI设置不同的初始角色
作业—生成小故事
作业 Transformers下载模型
snapshot
ModelScope
# model_scope snapshot下载
from modelscope import snapshot_download
snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b',cache_dir="/root/model/Shanghai_AI_Laboratory", revision='master')
Hugging Face
命令行
import os
os.system("export \"HF_ENDPOINT= https://hf-mirror.com\"")
os.system('huggingface-cli download --resume-download \'microsoft/phi-2\' --local-dir /root/model')
Lagent 智能体工具调用 Demo(进阶作业)
问题
chatgpt无法连接
InternLM要下载最新的(从modelscope中下载的不行)