笔记本本地部署100b以上千亿级别LLM，并在手机端接入

已于 2024-07-30 02:17:42 修改
阅读量3.3k 收藏 42
点赞数 20
文章标签： llama ubuntu linux ai
于 2024-07-28 23:53:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_56558214/article/details/140755108
版权

前言

本文将演示如何在笔记本上运行千亿级模型，后端 Koboldcpp 运行在 Ubuntu ，前端界面使用安卓手机通过 Termux 且使用 SillyTavern 进行连接，模型使用 104B 的 Command R Plus 的 Q4KM 量化，以及 123B 的 Mistral Large 2 的 Q3KM 量化作为演示，两者模型的性能强悍，中文表现良好，可匹敌早期的 GPT-4-0314

配置信息

笔记本型号: R7000P2021H
CPU: R5800H
显卡: 3060 6G 130w
无线网卡: AX210
内存: 三星64G(32Gx2双通道) 3200Hz
硬盘: 原装镁光512G+三星980 500G
系统: Ubuntu Server 22.04

Ubuntu 部署及常用依赖

关于 Ubuntu Server 的安装，可参考本人上篇的内容
实机演示联想拯救者R7000P安装Ubuntu Server与Win10双系统
并确保常用依赖已安装

sudo apt install vim
sudo apt install git
sudo apt install gcc
sudo apt install g++
sudo apt install wget
sudo apt install make

Kobold 后端下载

首先需要获取 koboldcpp 项目，在常用目录下创建 kobold 文件夹便于后续管理

sudo mkdir kobold
cd kobold

获取 koboldcpp ，这里下载 cuda12 的 1.67 版本

wget https://github.com/LostRuins/koboldcpp/releases/download/v1.67/koboldcpp-linux-x64-cuda1210
mv koboldcpp-linux-x64-cuda1210 kobold
chmod +x kobold

LLM模型下载

随后下载模型，模型链接已在前言中给出，64G 内存下载前言对应的版本刚好能跑，本人因为是双系统，因此模型原本路径是在 Win 盘符下，如果是单系统或其他情况，同样使用 wget 来获取，这里下载 Command R Plus ，因为模型很大 60G 左右，因此需要等很久，请耐心等待，为了便于管理，将其放在了 ./kobold/models 目录下

mkdir models
cd models

然后下载对应的版本

wget https://huggingface.co/pmysl/c4ai-command-r-plus-GGUF/resolve/main/command-r-plus-Q4_K_M-00001-of-00002.gguf?download=true
wget https://huggingface.co/pmysl/c4ai-command-r-plus-GGUF/resolve/main/command-r-plus-Q4_K_M-00002-of-00002.gguf?download=true

模型合并方法

目前 hugging face 的 GGUF 模型有两种格式，合并方式也不同，一种是本文中 Command R Plus 的 00001-of-00002.gguf 格式，一种是 Mistral Large 2 的非 gguf 后缀的文件名格式，对于非 gguf 后缀的文件名，使用如下命令即可合并

cat Mistral-Large-Instruct-2407.Q4_K_M.gguf.part*of2 > Mistral-Large-Instruct-2407.Q4_K_M.gguf

对于kobold来说，00001-of-00002.gguf 格式不需要合并也能运行，但是有些后端如 ollama 则需要完整的 gguf 格式，合并方式如下
获取 llama.cpp ，在用户目录安装

git clone https://github.com/ggerganov/llama.cpp.git
mv llama.cpp llama

随后进入并编译

cd llama
make

使用 llama-gguf-split 来合并，使用如下命令

./llama-gguf-split --merge <model-first-part> <model-name>

<model-first-part> 改为第一个模型部分的路径，即 00001-of-00002.gguf 的路径，<model-name> 改为最终的模型名，如果模型在 llama 目录下，即为

./llama-gguf-split --merge command-r-plus-Q4_K_M-00001-of-00002.gguf command-r-plus-Q4_K_M.gguf

随后删除对应的 split 模型

rm -rf command-r-plus-Q4_K_M-00001-of-00002.gguf
rm -rf command-r-plus-Q4_K_M-00002-of-00002.gguf

试运行

合并完之后即可运行，首先在局域网试运行，查看本地局域网 IP ，本机为 192.168.47.67

ip addr

本人模型路径为 Win 下的 D 盘挂载点，如果是单系统则是本文的 models 目录，在 kobold 下输入如下试运行

./kobold --model /mnt/windows/AI/models/command-r-plus-Q4_K_M.gguf --context 4096

出现如下提示即成功了
在这里插入图片描述
可在手机端或者其它电脑端浏览器输入192.168.47.67:5001，即可进入聊天，这里就不演示了，生成速度很慢，接下来是可提速的方案，本机优化后运行速度为 0.7 token/s 虽然不快，但是能跑起来已经很不错了。
可用来查看常用的参数信息，或者查看 koboldcpp 来获取更多

./kobold --help

编辑kcpps文件

创建一个 cmdr.kcpps 来运行 Command R Plus，写入如下信息, 格式及参数如下

{
"model": null,
"model_param": "/mnt/windows/AI/models/command-r-plus-Q4_K_M.gguf",
"port": 5001,
"port_param": 5001,
"host": "",
"launch": false,
"config": null,
"threads": 7,
"usecublas": ["normal", "0"],
"usevulkan": null,
"useclblast": null,
"noblas": false,
"contextsize": 10240,
"gpulayers": 1,
"tensor_split": null,
"ropeconfig": [0.0, 10000.0],
"blasbatchsize": 512,
"blasthreads": null,
"lora": null,
"noshift": false,
"nommap": false,
"usemlock": true,
"noavx2": false,
"debugmode": 0,
"skiplauncher": false,
"onready": "",
"benchmark": null,
"multiuser": 1,
"remotetunnel": false,
"highpriority": false,
"foreground": false,
"preloadstory": null,
"quiet": false,
"ssl": null,
"nocertify": false,
"mmproj": null,
"password": null,
"ignoremissing": false,
"chatcompletionsadapter": null,
"flashattention": false,
"quantkv": 0,
"forceversion": 0,
"smartcontext": false,
"hordemodelname": "",
"hordeworkername": "",
"hordekey": "",
"hordemaxctx": 0,
"hordegenlen": 0,
"sdmodel": "",
"sdthreads": 7,
"sdclamped": false,
"sdvae": "",
"sdvaeauto": false,
"sdquant": false,
"sdlora": "",
"sdloramult": 1.0,
"whispermodel": "",
"hordeconfig": null,
"sdconfig": null
}

一般只需调整 model_param, contextsize, gpulayers, usemlock, threads这些参数，其中 model_param 选择你模型的路径，contextsize 为上下文长度一般设置为 4096 或 8192 或更多，本人电脑极限可拉到 10K，gpulayers 为 GPU 层数，需要根据你的显卡显存来调整，对于千亿级的模型非常吃显存，因此层数这里只能拉一层，而usemlock必须设置为 true， 否则会导致模型被换入虚拟内存，严重影响生成速度，threads 即线程数，根据你的 CPU 核心数而定，一般设置为 CPU 核心数减一，8 核设置 7 ，如果你的 CPU 核非常多，建议关闭超线程，用大核来跑，也能提高生成速度。
关闭方式为输入如下指令

echo off > /sys/devices/system/cpu/smt/control

开机自动关闭超线程设置
进到 grub 中编辑

sudo vim /etc/default/grub

修改 GRUB_CMDLINE_LINUX-DEFAULT 变量，在其之后添加 nosmt=force信息，如下所示

GRUB_CMDLINE_LINUX-DEFAULT="nosmt=force"

跟新 grub 配置，并重启

sudo update-grub
reboot

编辑完 cmdr.kcpps 随后即可直接执行

./kobold cmdr.kcpps

这样速度就快很多了

创建shell脚本用于快速启动

在用户目录下创建一个 start.sh 用于启动对于的模型

sudo vim start.sh

写入如下脚本代码

#!/bin/bash

if [ -z "$1" ]; then
	echo "Error: No filename provided!"
	exit 1
else
	FILENAME="$1"
fi

FILEPATH="./kobold/$FILENAME.kcpps"

if [ ! -f "$FILEPATH" ]; then
	echo "Error: File $FILEPATH not found!"
	exit 1
fi

pids=$(pgrep -f "./kobold/kobold")

if [ -n "$pids" ]; then
	echo "Killing existing kobold processes with PIDs: $pids"
	kill -9 $pids
fi

echo "Starting new kobold process with $FILEPATH"
nohup ./kobold/kobold "$FILEPATH" > out.log 2>&1 &
echo "New kobold process started with PID $!"

exit 0

提高权限

chmod +x start.sh

之后想要启动的话，只需在用户目录下执行

./start cmdr

即可启动 cmdr.kcpps 对于的模型
也可编译一个 end.sh 用于远程随时关闭模型，这样不用的时候就可以关掉，且不需要重启，以节省电量和时间

sudo vim end.sh

写入如下脚本代码

#!/bin/bash

pids=$(pgrep -f "./kobold/kobold")

if [ -n "$pids" ]; then
	echo "Killing kobold processes with PIDs: $pids"
	kill -9 $pids
	echo "Kobold processes killed"
else
	echo "No kobold process found"
fi

exit 0

提高权限

chmod +x end.sh

后续如果在控制端每次输入如下即可停止

./end.sh

手机端安装SillyTavern

SillyTavern 的配置方法网上教程很多，可以直接参考该文档 Installing and running SillyTavern locally on Android using Termux.
下面是简单的安装方法，首先去安装 Termux ，下拉到最后点击 download 然后安装
打开 Termux 并安装常用软件及依赖

apt update
apt upgrade
pkg install esbuild
pkg install git
pkg install nodejs
pkg install vim

在 Termux 开启所在的目录下获取 SillyTavern 项目

git clone https://github.com/SillyTavern/SillyTavern
cd SillyTavern

安装所需依赖

npm install

随后即可运行

./start.sh

可在 Termux 开启所在目录下创建一个st.sh脚本便于启动酒馆, 或者创建一个链接

#!/bin/bash
cd SillyTavern/
./start.sh
exit 0

加权限

chmod +x st.sh

后面每次开启 Termux 后直接执行如下指令，也很方便

./st.sh

配置 SillyTavern

随后就会跳转到浏览器，或者输入 http://127.0.0.1:8000/ ，在左上角第二个选项的插头按键，API 选择 Text Completion，API 类型选择 KoboldCpp ，服务器URL 输入 http://192.167.47.67:5001/，然后连接即可成功接入，本文主要提供后端部署的方案。配置参考下图。
在这里插入图片描述

对于 cmdr 模型参数参考如下
在这里插入图片描述

高级格式化一栏选择 Command R，勾选指示模式，预设也选择 Command R
在这里插入图片描述
创建一个角色卡进行聊天测试
在这里插入图片描述
本人手机端 ssh 工具是 Termius 输出结果如下
在这里插入图片描述

HHD-Qixuan
关注
微软开源1-bit LLM：在单个 CPU 上使用 BitNet b1.58 在本地运行 100B 参数模型
iCloudEnd的博客
10-26 232
大型语言模型 (LLM) 已经改变了 AI 格局，但其庞大的规模也带来了同样巨大的计算成本。如果我们能够在不牺牲性能的情况下显著提高这些模型的效率，那会怎样？这正是研究人员通过 BitNet b1.58 实现的，开创了 1 bit LLM 时代。
在本地运行大型语言模型 (LLM) 的六种方法（2024 年 1 月）
gongdiwudu的专栏
02-05 1万+
这篇文章被称为“本地运行大型语言模型 (LLM) 的五种方法”，于 2024 年 1 月更新了有关vLLM的内容。虽然 vLLM 于 2023 年 6 月发布，但它最近获得了更多关注。因此，我想将其添加到此列表中。
大模型转换为 GGUF 以及使用 ollama 运行
最新发布
weixin_39249427的博客
04-09 114
GGUF。
本地部署LLM（Ollama和Open-WebUI）
Morejay的博客
07-31 4835
LLM（大语言模型）因为对设备的性能要求比较高，一般是部署在云端，通过网络远程访问。那么想在本地部署（玩一玩）能不能做到呢？Ollama就是实现这个目的的工具。Ollama是一个由Facebook AI Research开发的开源、轻量级且高效的大型语言模型（LLM）框架。它旨在使研究人员和开发人员能够更轻松地在自己的硬件上部署和运行LLM，而无需专门的云计算资源。Ollama提供了一个简单直观的界面，用于加载、运行和评估LLM。它还支持各种自定义选项，允许用户根据特定需求定制LLM。
个人电脑本地部署LLM
神棍之路
04-26 2260
普通电脑配置即可本地运行大模型。
本地部署 闻达：一个LLM调用平台
engchina的专栏
05-10 5238
本地部署 闻达：一个LLM调用平台
大模型部署 | 如何本地部署LLM服务？以ollama为例（安装ollama、启动服务、API测试）
m0_56255097的博客
10-09 2524
本文主要介绍如何安装ollama，并演示2种加载模型的方法：(1)拉取ollama官方已经有的模型，进行LLM服务部署。(2)加载本地模型部署大模型服务。最后，对部署的LLM服务的接口进行测试。AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源。
使用 vLLM 部署本地 LLM 指南
热门推荐
spicy_chicken123的博客
01-24 3万+
我们输入以下命令启动服务器，–model 为本地模型的路径，–served-model-name 是模型在服务器中的别名，这里我们取简称 openchat，其他都是默认值，当然也可以自己设置。在这里我们不演示了，直接将 vLLM 部署为模仿 OpenAI API 协议的服务器，这使得 vLLM 可以用作使用 OpenAI API 的应用程序的直接替代品。当然，你也可以试一试 ChatCompletions 格式的请求，ChatCompletions API 的请求内容如下，两种的格式还是有一些区别的。
在笔记本电脑上使用 LLMs 的 5 种方法
python12345678_的博客
06-14 1513
在网上使用 ChatGPT 很简单，只需有网络连接和好的浏览器即可。但这样做可能会泄露您的隐私和数据。OpenAI 存储了您的提示和其他元数据以重新训练模型。对于一些人来说可能不成问题，但注重隐私的人可能更愿意在本地使用这些模型，不受外部跟踪的影响。本文将介绍五种在本地使用大型语言模型（LLMs）的方法。这些软件大多兼容所有主要操作系统，并且可以轻松下载安装。通过在笔记本电脑上使用LLMs，您可以自由选择模型，只需从 HuggingFace hub 下载模型即可开始使用。
教你本地化部署与使用一款免费的LLM应用工程化平台
m0_63171455的博客
06-03 7205
平台已经就绪，现在需要让应用与Langfuse集成起来，以能够跟踪、评估与分析我们的应用。使用Langfuse的SDK/API，Langfuse能够与现有的任意应用做集成，但如果你的应用是基于LangChain、LlamaIndex这样的开发框架，那么使用起来会更加方便，这里先介绍与LangChain应用集成。随着LLM应用的不断成熟，特别是在B端企业场景中的逐渐落地，其不再停留在原型与验证阶段，将面临着更高的工程化要求，无论是输出的稳定性、性能、以及成本控制等，都需要实现真正的“生产就绪”；
大模型（LLMs）接入模块
AI智能涌现深度研究
02-11 387
大模型、LLM接入、模块化设计、API接口、微服务架构、模型部署、性能优化、安全保障 1. 背景介绍 近年来，大语言模型（LLMs）在自然语言处理领域取得了突破性的进展，展现出强大的文本生成、理解、翻译等能力。这些模型的出现为各种应用场景带来了新的可能性，例如智能客服、内容创作、代码
本地部署LLM工具大比拼：谁才是你的智能之选？
Everly_的博客
12-14 1339
在人工智能的浪潮中，本地部署 LLM 工具为我们开启了个性化智能交互的新大门。今天，就带大家深入对比几款热门的本地部署 LLM 工具：ollama、Llamafile、jan、LLaMa.cpp、GPT4All、LM Studio，从多个关键角度剖析它们的特点与优势，助你挑选出最契合自身需求的智能伙伴。ollama 的安装便捷性堪称一流。只需一条简单的命令，就能在本地迅速启动开源大型语言模型，无论是 mac 还是 linux 系统，都能轻松驾驭。
一些常见的LLM模型以及本地部署LLM的步骤
2401_83912923的博客
01-12 2172
本文主要介绍目前可以在本地部署的LLM种类及其优缺点与部署步骤详解
使用中转API的LLM模型接入和使用示例
qq_29929123的博客
08-06 884
在本文中，我们将介绍如何使用中转API地址（http://api.wlai.vip）来调用大型语言模型（LLM），并展示一些示例代码。我们将使用一个简单的例子来说明如何通过API获取模型的回答，并讨论在使用过程中可能遇到的一些问题。
6种方法在本地运行LLM
ChatGPTer
12-28 2467
商业人工智能和大型语言模型（LLM）有一个很大的缺点：隐私！在处理敏感或专有数据时，我们无法从这些工具中受益。这使我们了解如何在本地运营私人LLM。开源模型提供了一种解决方案，但它们也有自己的挑战和好处。和我一起探索可以在自己的计算机上运行的 ChatGPT 的本地替代方案。设定期望开源非常广泛，有数千种可用模型，从 Meta 等大型组织提供的模型到个人爱好者开发的模型各 不相同。正如谷歌泄露的一份文件所表明的那样，开源模型和闭源模型之间的差距正在缩小。1.
开源大模型FLM-101B：训练成本最低的超100B参数大模型
zenRRan的博客
09-12 488
深度学习自然语言处理 原创作者：Winnie大语言模型（LLM）在诸多领域都取得了瞩目的成就，然而，也存在两个主要的挑战：训练成本极高，通常只有少数几家大公司才能负担得起。现行的评估基准主要依赖知识评估（如MMLU和C-Eval）以及NLP任务评估，但这种方式存在局限性，并且容易受到数据污染的影响。近期，一支来自中国的研究团队正是针对这些问题提出了解决方案，他们推出了FLM-101B模型及其配套的...
在本地运行LLM的6种方法
Python_cocola的博客
04-16 1955
商业人工智能和大型语言模型（LLM）有一个很大的缺点：隐私！在处理敏感或专有数据时，我们无法从这些工具中受益。这使我们了解如何在本地运营私有 LLM。开源模型提供了一种解决方案，但它们也有其自身的一系列挑战和好处。和我一起探索 ChatGPT 的本地替代品，您可以在自己的计算机上运行它。
笔记本电脑上部署LLaMA-2中文模型
张兆坤
03-26 2046
尝试在macbook上部署LLaMA-2的中文模型的详细过程，体验本地化部署模型的能力。
多gpu部署llm
04-03
<think>嗯，用户想了解多GPU部署LLM的方法。首先，我需要确定他们可能的技术背景。可能是个开发者或者研究人员，想优化大语言模型的训练或推理速度。用户可能已经遇到单GPU的内存或计算限制，所以需要扩展到多GPU。 接下来，我得考虑多GPU部署的不同方法。常见的有数据并行、模型并行（包括流水线并行和张量并行），以及它们的混合使用。需要分别解释每种方法的原理、适用场景和优缺点。 数据并行比较容易理解，每个GPU都有完整的模型副本，数据分片处理。但大模型参数可能无法放入单个GPU内存，这时候数据并行就不够用了，需要模型并行。模型并行中，流水线并行把模型按层划分到不同GPU，而张量并行则是在层内进一步拆分参数，比如矩阵乘法分块。这两者可以结合使用。 还要提到框架支持，比如DeepSpeed、Megatron-LM和PyTorch的FSDP。这些工具简化了并行化的实现，用户可能需要知道有哪些现成的解决方案。 另外，通信开销和负载均衡是关键挑战。多GPU之间的梯度同步、参数更新需要高效的通信，否则会成为瓶颈。比如NCCL库优化了GPU间通信。负载不均会导致部分GPU闲置，影响效率，尤其是在模型并行时，各GPU的计算量要尽量均衡。 混合精度训练和3D并行策略（数据+流水线+张量）也是高级话题，可能对用户有帮助。需要举例说明，比如训练千亿参数的模型时会用到这些技术。 用户可能还关心实际应用中的步骤，比如如何选择并行策略，代码需要做哪些修改，或者性能调优的技巧。不过问题主要是介绍性的，可能需要保持概述级别，但结构要清晰，分点讲解。 要确保技术细节准确，比如张量并行中如何分割矩阵乘法，使用all-reduce操作同步梯度。同时，要避免过于晦涩，用中文通俗解释概念，比如将模型拆分比喻成工厂流水线，帮助理解。 最后，总结多GPU部署的优势，比如提升训练速度、支持更大模型，以及面临的挑战，需要用户根据具体情况调整策略。可能还要提到未来趋势，如更自动化的并行框架，降低用户门槛。</think>多GPU部署大型语言模型（LLM）是解决显存限制和加速训练/推理的核心技术。以下是分步解析： 一、核心并行策略 1. **数据并行 (Data Parallelism)** - 原理：每个GPU保存完整模型副本，将数据分片分配到不同GPU - 操作流程： ``` 1. 分发数据分片到各GPU 2. 各GPU独立前向计算 3. 同步梯度（All-Reduce操作） 4. 统一更新参数 ``` - 优势：实现简单（PyTorch `DataParallel` 一行代码） - 局限：单卡需容纳完整模型，不适合超大模型 2. **模型并行 (Model Parallelism)** - **流水线并行**（Pipeline Parallelism） - 将模型按层拆分到不同GPU - 需要微批次(Micro-batching)解决流水线气泡问题 - 示例：GPipe框架 - **张量并行**（Tensor Parallelism） - 在矩阵乘维度拆分计算（如Megatron-LM方案） - 关键技术： $$ Y = GeLU(XA) \quad \Rightarrow \quad Y_1 = GeLU(XA_1), Y_2 = GeLU(XA_2) $$ - 需要All-Gather通信拼接结果 3. **3D混合并行**（主流方案） - 组合数据+流水线+张量并行 - 典型配置（以64 GPU为例）： ``` 数据并行维度=8 流水线并行维度=2 张量并行维度=4 ``` 二、关键技术组件 1. **通信优化** - 使用NCCL库加速All-Reduce - 通信与计算重叠（如PyTorch的`no_sync()`上下文） 2. **显存管理** - ZeRO优化（DeepSpeed）： - Stage 1: 切分优化器状态 - Stage 2: 切分梯度 - Stage 3: 切分参数 3. **框架支持** | 框架 | 并行能力 | 典型应用场景 | |-----------|-----------------------|---------------| | DeepSpeed | ZeRO, 3D并行 | 百亿参数级模型 | | Megatron | 张量并行优化 | 千亿参数级模型 | | FSDP | 原生PyTorch支持 | 中等规模模型 | 三、部署实践建议 1. **策略选择原则** - 模型参数量 < 20B：优先数据并行 - 20B-100B：数据+张量并行 - >100B：必须使用3D混合并行 2. **性能调优技巧** - 通过公式估算理论吞吐量： $$ \text{吞吐量} = \frac{\text{有效计算时间}}{\text{计算时间+通信时间}} $$ - 使用Nsight Systems进行性能剖析 - 调整Micro-batch大小平衡显存与效率 四、典型挑战与解决方案 1. **负载不均衡** - 解决方案：动态负载调度（如FlexFlow） 2. **通信瓶颈** - 优化方法：梯度压缩（1-bit Adam）、异步通信 3. **显存碎片** - 使用统一显存分配器（如PyTorch的CUDACachingAllocator） 当前最前沿的实践已能支持万亿参数模型训练（如NVIDIA的ExaScale方案），但实际部署需要根据硬件条件和模型规模选择合适策略。建议从HuggingFace的`accelerate`库开始实验，逐步深入优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值