llama.cpp 部署 llama-2-7b 测试 Llama 2

已于 2023-08-05 11:51:53 修改
阅读量1.3k 收藏 9
点赞数 2
文章标签： llama
于 2023-07-30 18:41:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bit_lang/article/details/132009193
版权
本文介绍了如何在Ubuntu 20.04环境下部署FacebookResearch的LLAMA 2-7b模型。首先从GitHub下载模型及相关文件，接着克隆llama仓库并安装Python依赖，然后执行download.sh脚本。随后，克隆llama.cpp仓库，通过make命令安装依赖，并在models文件夹中创建7B目录，拷贝模型文件并使用convert.py将其转换为ggml FP32格式。最后，对模型进行量化处理，将其减小到4G大小，以便于推理操作。
摘要由CSDN通过智能技术生成

首先进入这里
https://github.com/facebookresearch/llama

 点击下载

填写注册信息

 接受后继续

 上面的按钮点击后，应该邮箱就收到链接了，几乎是很快的

把下面的链接复制后备用，注意24小时后会失效

提前先了解一下有3种模型

7b  13b  70b  

7b就是有70亿参数，文件夹里面有3个文件

其中最大的是模型文件有13G

外面还有分词器清单和分词器模型文件

最低0.47元/天 解锁文章
bit_lang
关注
llama.cpp LLM模型 windows cpu安装部署；运行LLaMA2模型测试
weixin_42357472的博客
06-20 5448
参考： https://www.listera.top/ji-xu-zhe-teng-xia-chinese-llama-alpaca/ https://blog.csdn.net/qq_38238956/article/details/1301135991、下载： 2、编译 3、测试运行
CPU 上的分布式 Llama 2 通过 llama.cpp 和 PySpark 使用 Python 对商品硬件进行批量推理的玩具示例。
iCloudEnd的博客
08-03 605
本练习是关于使用Llama 2 （ Meta AI的 LLM（大型语言模型））一次总结许多文档。非结构化、半结构化和结构化文本的可扩展摘要本身可以作为一项功能存在，也可以作为输入下游机器学习模型的数据管道的一部分。具体来说，我们想证明以下同时存在的可行性：在CPU上运行 Llama 2 （即消除 GPU 容量限制）LLM 与Apache Spark（大数据生态系统的关键部分）的顺利集成不使用第三方端点（即，由于气隙基础设施或机密性要求，模型必须在本地运行）
大模型：llama-cpp-python快速上手
m0_56255097的博客
07-24 662
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！
中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）
zero2100的专栏
10-13 5371
tailnvidia-smi注意 ： 使用 nvidia-smi 查看CUDA 版本必须是 11.8。
LLM - Chinese-Llama-2-7b 初体验
BITDDD小栈
07-25 6986
Chinese-Llama-2-7b 初体验。
llama-cpp-python
AI + 工程
07-16 1409
一、关于 llama-cpp-python 二、安装 安装配置 支持的后端 Windows 笔记 MacOS笔记 升级和重新安装 三、高级API 1、简单示例 2、从 Hugging Face Hub 中提取模型 3、聊天完成 4、JSON和JSON模式 JSON模式 JSON Schema 模式 5、函数调用 6、多模态模型 7、Speculative Decoding 8、Embeddings 9、调整上下文窗口 四、OpenAI兼容Web服务器 Web服务器功能 五、Docker镜像 六、低级API
AI-windows下使用llama.cpp部署本地Chinese-LLaMA-Alpaca-2模型
mrbone11的博客
04-21 992
本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升项目地址https://github.com/ymcui/Chinese-LLaMA-Alpaca-2。
LLMs之Chinese-LLaMA-Alpaca：基于单机CPU+Windows系统实现中文LLaMA算法进行模型部署(llama.cpp)+模型推理全流程步骤【安装环境+创建环境并安装依赖+原版L
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-03 1265
​ LLMs之Chinese-LLaMA-Alpaca：基于单机CPU+Windows系统实现中文LLaMA算法进行模型部署(llama.cpp)+模型推理全流程步骤【安装环境+创建环境并安装依赖+原版LLaMA转HF格式+合并llama_hf和chinese-alpaca-lora-7b→下载llama.cpp进行模型的量化(CMake编译+生成量化版本模型)→部署f16/q4_0+测试效果】的图文教程(非常详细) 目录 相关文章 在单机CPU+Windows系统上实现中文LLaMA算法
使用 llama.cpp 在本地部署 AI 大模型的一次尝试
素履独行 | 元培的个人博客
03-01 1807
2023年被誉为AIGC元年，随着技术浪潮，人们开始对人工智能的发展产生担忧。文章介绍了使用llama.cpp在本地部署AI大模型的过程，包括编译、量化和模型下载。通过对不同模型的体验，展示了其运行效果和评估。最后，将ChatGPT-Next-Web与llama.cpp结合，展示了本地部署AI大模型的潜力。整体讲述了私有化部署AI大模型的重要性和实践过程。
本地部署Chinese-llama-2-7b模型（Windows）
m0_62852701的博客
03-25 872
所以我们需要去下载一个大模型添加到里面，我用的是Chinese-llama-2-7b的模型，还有一个1.3b的模型，稍显笨拙一点，所以我的建议是。部署大模型有着多种方式，但是我用的是一键安装的方式，在网上可以找到很多一键安装包，方便简洁。1.在下载一键安装包的时候，建议新建文件夹，并且为全英文的路径，不然容易报错。3.7b的模型可能语料库还是不够多，在聊天的时候可能有些问题，自己多试试。模型下载好以后，需要。
纯干技术分享：大模型LLama2-7B在高能效可重构视觉芯片部署
weixin_44298602的博客
09-28 429
关于高能效可重构视觉芯片TX536清微智能TX536是一款行业专用的智能高SOC，集成功能强大的可重构计算架构（CGRA）ISP、业界最新的H.265视频压缩编解码器，3D计算加速单元。基于高性能人工智能加速引擎RNE以及通用计算加速引擎RCE，TX536在低码率、高画质、智能处理和分析等方面引领行业。芯片集成POR、RTC、Audio Codec以及待机唤醒电路，极大的降低了客户的产品成本。AI...
一文就懂大语言模型Llama2 7B+中文alpace模型本地部署
勿忘初心,方得始终
10-13 2749
大语言模型Llama2 7B+中文alpace模型本地部署
使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署
最新发布
2401_85390073的博客
08-06 940
llama.cpp的主要目标是能够在各种硬件上实现LLM推理，只需最少的设置，并提供最先进的性能。提供1.5位、2位、3位、4位、5位、6位和8位整数量化，以加快推理速度并减少内存使用。
llama.cpp Mac版本llama
人工智能曾小健
07-15 1382
骆驼.cpp纯C/C++中模型的推理持 64 的超级块大小目录描述主要目标llama.cpp是在 MacBook 上使用 4 位整数量化运行 LLaMA 模型ARM NEONF16/F32精度最初的实现llama.cpp了。从那时起，由于许多贡献，该项目有了显着改进。该项目用于教育目的，并作为开发库新功能的主要平台。以下是使用 LLaMA-7B 的典型运行：7n512I llama.cppIUNAME_S: DarwinI。
llama.cpp使用
m0_61797126的博客
07-21 1866
由于该库在不断更新，请注意以官方库的说明为准。目前互联网上很多教程是基于之前的版本，而2024年6月12日后库更新了，修改了可执行文件名，导致网上很多教程使用的quantize、main、server等指令无法找到，在当前版本（截至2024年7月20日）这些指令分别被重命名为llama-quantize、llama-cli、llama-server。
2024-01-04 用llama.cpp部署本地llama2-7b大模型
老林的博客
01-04 3181
要解决问题: 使用一个准工业级大模型, 进行部署, 测试, 了解基本使用方法.想到的思路:llama.cpp, 不必依赖显卡硬件平台. 目前最亲民的大模型基本就是llama2了, 并且开源配套的部署方案已经比较成熟了.其它的补充: 干就行了.现在AI是如火如荼, 傻子都知道这是风口, 但不用多少智商, 也应该知道, 自己烧大模型, 纯属扯淡, 还是让一线公司开源, 咱们跟着玩玩吧, 如果对这方面足够了解, 可以试试用自己的数据进行微调, 但这个话题, 本文作者并不会, 就不瞎唠叨了.
python convert-pth-to-ggml.py /media/pi/FA200C42200C0879/llama.cpp-master/org-models/7B 1 Loading model file /media/pi/FA200C42200C0879/llama.cpp-master/org-models/7B/consolidated.00.pth Loading vocab file /media/pi/FA200C42200C0879/llama.cpp-master/org-models/7B/tokenizer.model params: n_vocab:49954 n_embd:4096 n_mult:256 n_head:32 n_layer:32 Traceback (most recent call last): File "/media/pi/FA200C42200C0879/llama.cpp-master/convert-pth-to-ggml.py", line 13, in <module> convert.main(['--outtype', 'f16' if args.ftype == 1 else 'f32', '--', args.dir_model]) File "/media/pi/FA200C42200C0879/llama.cpp-master/convert.py", line 1258, in main OutputFile.write_all(outfile, params, output_type, model, vocab) File "/media/pi/FA200C42200C0879/llama.cpp-master/convert.py", line 1047, in write_all check_vocab_size(params, vocab) File "/media/pi/FA200C42200C0879/llama.cpp-master/convert.py", line 1001, in check_vocab_size raise Exception(msg) Exception: Vocab size mismatch (model has 49954, but /media/pi/FA200C42200C0879/llama.cpp-master/org-models/7B/tokenizer.model has 32000).
07-22
根据您提供的错误信息，看起来是由于词汇表（vocab）的大小不匹配导致的问题。具体来说，模型的词汇表大小为49954，但是路径`/media/pi/FA200C42200C0879/llama.cpp-master/org-models/7B/tokenizer.model`下的词汇表大小为32000，两者不一致导致了异常。 请确保在转换过程中使用的模型文件和词汇表文件是匹配的，它们应该是同一个预训练模型的组成部分。您可以检查一下文件路径是否正确，并确保使用正确的模型和词汇表文件。 如果问题仍然存在，请检查您正在使用的转换工具的文档或脚本，以了解正确的用法和参数设置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值