使用llama.cpp启动GPU模型计算

已于 2024-03-27 14:04:24 修改
阅读量612 收藏 1
点赞数 4
文章标签： llama
于 2024-03-27 13:59:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hz1988a/article/details/137075509
版权

查询GPU使用状态：

        watch -n 0.5 nvidia-smi

使用GPU编译llama.cpp:

        make LLAMA_CUBLAS=1

        用过make的记得删除项目，重新再以上执行命令，要不还是会使用CPU

两种启动方式（41是GPU启动层数，根据自身配置修改）

        页面访问：./server -m ./models/qwen1_5-1_8b-chat-q8_0.gguf -c 2048 --port 6006 -ngl 41

        命令行访问：./main -m ./models/qwen1_5-14b-chat-q2_k.gguf -n 512 --color -i -cml -f prompts/chat-with-qwen.txt -ngl 41

一品武夫
关注
  • 4
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
llama.cpp 的主要目标是在本地和云端的各种硬件上以最少的设置和最先进的性能实现 LLM 推理
04-12
没有任何依赖的纯 C/C++ 实现 Apple 芯片是一等公民 - 通过 ARM NEON、Accelerate 和 Metal 框架进行优化 对 x86 架构的 AVX、AVX2 和 AVX512 支持 1.5 位、2 位、3 位、4 位、5 位、6 位和 8 位整数量化，可加快推理速度并减少内存使用 用于在 NVIDIA GPU 上运行 LLM 的自定义 CUDA 内核（通过 HIP 支持 AMD GPU） Vulkan、SYCL 和（部分）OpenCL 后端支持 CPU+GPU 混合推理，部分加速大于 VRAM 总容量的模型 自启动以来，由于许多贡献，该项目已取得显着改进。 它是为 ggml 库开发新功能的主要场所。 支持的平台： Mac OS Linux Windows (via CMake) Docker FreeBSD 支持型号： 通常还支持以下基本模型的微调。 LLaMA LLaMA 2 Mistral 7B Mixtral MoE Falcon Chinese LLaMA / Alpaca and Chinese LLaMA-2 /
【快捷部署】016_Ollama（CPU only版）
luckcxy的专栏
04-10 1920
一键快速私有化部署gemma大模型（低门槛，CPU only）
一文教你在windows上实现ollama+open webui、外网访问本地模型、ollama使用GPU加速
最新发布
qq_28413709的博客
04-26 1万+
ollama工具的出现让大语言模型的部署变得格外的轻松，但是在windows系统部署之后发现无法使用GPU进行加速，通过多方面查找资料发现可以在docker中使用命令启用GPU加速。另外通过Docker也可以快速部署open webui,于是本文基于docker实现ollama模型的部署，以及webui部署。最终部署成功后可以实现公网访问本地大语言模型功能。
【个人开发】llama2部署实践（二）——基于GPU部署踩坑
weixin_44505713的博客
03-09 2459
折腾了一整天，踩了GPU加速的一堆坑，记录一下。
【学习笔记】：Ubuntu 22 使用模型量化工具llama.cpp部署大模型 CPU+GPU
qq_44305583的博客
03-13 2868
Ububtu22下模型量化工具llama.cpp及llama-cpp-python部署应用。
【AI】aarch64 kylin llama.cpp CUDA 适配 Chinese-LLaMA-Alpaca-2 启用 Tesla P4 8G GPU支持【失败】
hknaruto的专栏
01-26 1104
报错：gcc: 错误：unrecognized command-line option ‘-Wunreachable-code-break’;make: *** [Makefile:693：benchmark-matmult] 错误 1。make: *** [Makefile:704：q8dot] 错误 1。make: *** [Makefile:626：gguf] 错误 1。make: *** [Makefile:701：vdot] 错误 1。神奇，用的clang，报gcc错误。
【AI实战】llama.cpp量化cuBLAS编译；nvcc fatal:Value ‘native‘ is not defined for option ‘gpu-architecture‘
Zack的博客
07-06 2237
llama.cpp量化cuBLAS编译；nvcc fatal:Value 'native' is not defined for option 'gpu-architecture'
【大模型】在linux上使用nvidia显卡，使用llam.cpp框架运行Baichuan-7B 模型，可以成功运在CPU和GPU下运行，int4量化版本速度飞快。
freewebsys的专栏
09-10 1582
有一点感觉上这个问题必须要具体点，否则百川给出的结果会不一样。这个和chatglm 还是有差距的：同样的问题，chatglm2 结果比较稳定。错误也比较明显，居然返回大雁塔了？？！！baichuan 好的一点是新模型发布了。baichuan2 估计会解决这个问题。同时baichuan 可以支持使用 llam.cpp 上面运行。同时还有 13B的模型可以使用，所以要好好的研究下。
【个人开发】llama2部署实践（三）——python部署llama服务（基于GPU加速）
weixin_44505713的博客
03-10 3451
gcc:9.4.0cuda:11.8以上，End。
llama.cpp.rar
04-23
例如，如果"llama.cpp"是一个GUI应用程序，那么它可能使用了Windows API中的CreateWindow函数创建窗口，用 GetMessage 和 DispatchMessage 函数处理用户输入和系统消息。 为了调试和测试"llama.cpp"，我们可以利用...
中文LLaMA&Alpaca大模型
08-24
这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。相关模型支持FlashAttention-2训练，...
一个简单的基于llama.cpp的c#仿chatgpt的本地部署demo.zip
02-18
【项目资源】： 包含前端、后端、移动开发、操作系统、人工智能、物联网、信息化管理、数据库、硬件开发...有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。 鼓励下载和使用，并欢迎大家互相学习，共同进步。
开发和启用llama2 api
10-01
这是一个基于Gradio的通用文本生成模型Web UI框架，支持transformers、GPTQ、llama.cpp (ggml)、Llama模型等。它的目标是成为文本生成的AUTOMATIC1111/stable-diffusion-webui。以下是启动API的完整流程： 1. 安装...
袖珍版“Llama2” Windows上也能用了！VisualStudio2022下编译通过
07-30
袖珍版“Llama2” Windows上也能用了！VisualStudio2022下编译通过。 提供了 1500 万参数，...tokenizer.bin 文件，是模型使用的分词文件，大小 300K。 运行run.bat，你就会在命令行上，看到流式的文本跳动地输出了！
【AI实战】llama.cpp 量化部署 llama-33B
Zack的博客
07-06 8255
llama.cpp 量化部署 llama-33B
单个消费级GPU笔记本win电脑测试LLaMA模型
StringEast的博客
03-29 2817
b N，--batch_size N用于提示处理的批量大小（默认值：8）-n n，--n_predict n个要预测的令牌数（默认值：128）将在"7B”文件夹产生一个名为”models/7B/ggml-model-q4_0.bin"的文件。将在"7B”文件夹产生一个名为”models/7B/ggml-model-f16.bin"的文件。-t N，--N个线程[计算期间要使用的线程数（默认值：4）]--top_k N top-k采样（默认值：40）-s SEED，--种子（默认值：-1）
本地运行LlaMA 2的简易指南
csdn1561168266的博客
01-16 2530
大家好，像LLaMA 2这样的新开源模型已经变得相当先进，并且可以免费使用。可以在商业上使用它们，也可以根据自己的数据进行微调，以开发专业版本。凭借其易用性，现在可以在自己的设备上本地运行它们。本文将介绍如何下载所需的文件和LLaMA 2模型，以运行CLI程序并与AI助手进行交互。设置非常简单，即使是非技术用户或学生也可以按照这几个基本步骤进行操作。
llama.cpp一种在本地CPU上部署的量化模型（超低配推理llama）
热门推荐
god_Zeo的安全博客
04-23 2万+
前不久，Meta前脚发布完开源大语言模型LLaMA，随后就被网友“泄漏”，直接放了一个磁力链接下载链接。然而那些手头没有顶级显卡的朋友们，就只能看看而已了但是 Georgi Gerganov 开源了一个项目llama.cpp次项目的牛逼之处就是没有GPU也能跑LLaMA模型大大降低的使用成本，本文就是时间如何在我的 mac m1 pro 上面跑起来这个模型。
llama.cpp编译
11-16
根据提供的引用内容，llama.cpp编译存在一些错误，需要进行排查和解决。具体步骤如下： 1.根据引用中的文章，可以了解到llama.cpp是一个量化部署工具，可以将深度学习模型部署到移动设备上。在编译llama.cpp时，需要注意以下问题： - 确保已经安装了必要的依赖库，例如OpenCV、protobuf等。 - 确保已经安装了CUDA和cuDNN，并且配置正确。 - 确保已经安装了TensorRT，并且配置正确。 2.根据引用中的文章，可以了解到在编译GPU版llama.cpp时，可能会遇到以下问题： - 错误描述1：nvcc fatal: Value 'native' is not defined for option 'gpu-architecture'。这个错误是由于nvcc编译器不支持使用“native”选项来指定GPU架构，需要使用具体的GPU架构代号来替代。 - 错误描述2：llama.cpp编译GPU版1.错误描述。这个错误可能是由于编译器版本不兼容或者Makefile文件配置错误导致的。 3.解决方法： - 对于错误描述1，可以使用nvidia-smi命令查看GPU架构代号，然后在编译命令中使用对应的代号。例如，如果GPU架构代号为“sm_75”，则编译命令为：nvcc -arch=sm_75 ... - 对于错误描述2，可以尝试查找编译器版本是否兼容，或者修改Makefile文件中的配置参数，例如修改GPU架构代号等。 - 修改完成后，重新编译并进行测试，确保编译和部署成功。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值