InternLM 2.5 书生·浦语开源大模型本地部署体验

最新推荐文章于 2024-09-04 15:16:10 发布

老牛同学

最新推荐文章于 2024-09-04 15:16:10 发布

阅读量920

点赞数 17

分类专栏： AI 文章标签： AI 人工智能 InternLM Ollama 大模型

转载请注明原文链接：https://ntopic.cn

本文链接：https://blog.csdn.net/obullxl/article/details/141477102

版权

AI 专栏收录该内容

48 篇文章 3 订阅

订阅专栏

老牛同学之前偶尔刷到过InternLM大模型相关的介绍文章，因为在老牛同学心中，Qwen2千问才是国内开源模型中最适合自己的大模型，原因是自己在本地部署和应用Qwen2都非常满意，所以没有在意InternLM大模型，也就没有动力去了解它。

今天老牛同学又刷到InternLM大模型发布1.8B新开源版本的文章，同时还知道了书生·浦语是它的中文名。因老牛同学在上海生活了十几年了，当看到浦字时有点敏感，猜测想是不是代表上海浦东的意思？所以特意去查了一下，官网介绍：书生·浦语（InternLM）大语言模型由上海人工智能实验室联合多家机构共同推出。官网并没有解释浦字的含义，因此老牛同学就算自己的猜测是对的了。

既然是自己生活的城市发布的大语音模型，那就没有理由不去了解一下了，顺便部署体验一翻：

InternLM 大模型的简单介绍，顺便介绍一下官网的评测数据，方便大家阅读
通过 Ollama 本地部署 InternLM 大模型，同时通过不同方式进行推理调用，包括 API 调用、WebUI 等

书生·浦语（InternLM）介绍

书生·浦语系列大模型主页：https://internlm.intern-ai.org.cn

书生·浦语（InternLM） 由上海人工智能实验室（上海 AI 实验室）联合推出，上海 AI 实验室是我国人工智能领域的新型科研机构，它的研究方向包括：人工智能基础理论、人工智能开放平台、人工智能基础软件和基础硬件系统、人工智能应用、人工智能核心技术和人工智能伦理与政策。感觉就是个政府机构，老牛同学生活了这么多年竟然都不知道！

书生·浦语（InternLM） 自 2023 年 6 月 7 日发布第 1 个大模型，到本月 8 月 4 号，开源发布InternLM 2.5 1.8B小尺寸模型，目前InternLM 2.5有 3 个不同尺寸：1.8B、7B和20B

同时，针对20B参数量版本，官网提供了一些评测数据：https://github.com/InternLM/InternLM。InternLM-20B显著领先主流的 13B 量级开源模型，在语言、知识学科综合评测上都超越 Llama2-70B，在推理能力评测上和 Llama2-70B 持平，而知识方面则仍有一定差距。

InternLM能力评测

本地部署 InternLM 2.5 大模型

目前 Ollama 已经支持InternLM 2.5大模型了：https://ollama.com/internlm/internlm2.5:1.8b-chat

Ollama选择不同版本

关于 Ollama 详细介绍，老牛同学之前有专门的文章，本文不在累赘：Ollama 完整教程：本地 LLM 管理、WebUI 对话、Python/Java 客户端 API 应用

我们可以根据自己的需要选择不同的参数版本，老牛同学选择的最新发布的1.8B参数量版本。

下载模型权重文件：ollama run internlm/internlm2.5:1.8b-chat

下载完成之后，其实我们已经有了个控制台的对话界面了：

Ollama对话界面

接下来，我们就可以通过多种方式使用推理服务了，包括：HTTP、Python 客户端、Java 客户端、WebUI 等，老牛同学简单介绍以下 WebUI 方式：

Ollama 自带控制台对话界面体验总归是不太好，接下来部署 Web 可视化聊天界面：

下载并安装 Node.js 工具：https://nodejs.org/zh-cn
下载ollama-webui工程代码：git clone https://github.com/ollama-webui/ollama-webui-lite ollama-webui
切换ollama-webui代码的目录：cd ollama-webui
设置 Node.js 工具包镜像源（下载提速）：npm config set registry http://mirrors.cloud.tencent.com/npm/
安装 Node.js 依赖的工具包：npm install
最后，启动 Web 可视化界面：npm run dev

>npm run dev

> ollama-webui-lite@0.0.1 dev
> vite dev --host --port 3000

  VITE v4.5.2  ready in 16023 ms

  ➜  Local:   http://localhost:3000/
  ➜  Network: http://192.168.101.35:3000/
  ➜  Network: http://172.27.112.1:3000/
  ➜  Network: http://172.25.64.1:3000/
  ➜  press h to show help

如果看到以上输出，代表 Web 可视化界面已经成功了！

浏览器打开 Web 可视化界面：http://localhost:3000/

Ollam WebUI对话界面