本地部署大模型Llama3.1 8B

已于 2024-08-14 15:04:06 修改
阅读量597 收藏 10
点赞数 6
文章标签： llama 语言模型 git
于 2024-08-14 15:03:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45829243/article/details/141189336
版权

文章目录

前言

本人尝试了在个人PC端部署本地大模型，配置如下：
MacBook Air (M2芯片，16GB内存，1TB存储)
需要用到的软件：
1.Ollama
2.Docker
3.个人笔记本终端Terminal(Windows对应cmd)

提示：以下是本篇文章正文内容，下面案例可供参考

一、Ollama

https://ollama.com
Ollama 是一个致力于大规模语言模型（LLM）开发和应用的框架或工具集。它专注于优化和扩展这些模型的性能，使其能够在更广泛的应用场景中发挥作用
在这里插入图片描述
点击Models选项，就可以选择自己想要部署的模型，这里以llama3.1为例
在这里插入图片描述
llama3.1提供了三种选择，8B,70B,405BZ(这里B指十亿，8B就是八十亿个模型参数)
在这里插入图片描述
copy图中该指令：ollama run llama3.1
在terminal中运行安装（在指令前面加上sudo）
执行安装后llama3.1模型便可在终端运行，接下来给该模型安装图形界面
在这里插入图片描述

二、Docker

https://www.docker.com
Docker 是一个开源的平台，旨在通过容器化技术简化应用程序的开发、部署和运行。容器是一种轻量级的虚拟化方式，它将应用程序及其所有依赖项（如库、配置文件等）打包在一起，使其能够在任何环境中保持一致的运行。

在这里插入图片描述
下载后，打开github，搜索open-webui

在这里插入图片描述
在"How to Install"这里，寻找指令
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
在这里插入图片描述
再到terminal中去执行（加上sudo）

安装成功后，打开docker软件，便可看到下载好的界面
在这里插入图片描述
点开数字后面的链接，即可打开大模型git界面，本地部署完成

在这里插入图片描述

总结

以上就是大模型部署到本地的一个简单操作，安装后即可在本地拥有一个可用的大语言模型

Jatton12335
关注
Llama3本地部署的解决方案
herosunly的博客
04-23 14万+
本文主要介绍了Llama3本地部署的解决方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行代码 3.1 修改文件 3.2 运行API 3.3 运行聊天界面 3.4 Python调用API 3.4.1 单轮对话 3.4.2 多轮对话
苹果大模型系列之 搭载 M2 Pro Apple Silicon 的 MacBook 上的 whisper.cpp
iCloudEnd的博客
07-15 187
今天我尝试在 MacBook Pro 2023 上构建并运行 whisper.cpp。根据我的经验，有几点需要注意。它只需几秒钟即可轻松构建。🙂 它的速度令人惊讶。我不会提供任何基准测试数据，但在 MacBook 上需要 11 秒，而在 MacBook 上转换为文本则需要大约 0.3 秒。
本地部署 Llama 3.1：Ollama、OpenWeb UI 和 Spring AI 的综合指南
瓦罗兰特顶级C位的博客
10-06 1498
本文介绍如何使用 Ollama 在本地部署 Llama 3.1:8B 模型，并通过 OpenWeb UI 和 Spring AI 来增强模型交互体验和简化 API 的调用过程。
使用本地 LLM 构建 Llama 3.1 8b Streamlit 聊天应用程序：使用 Ollama 的分
python122_的博客
08-20 1721
大型语言模型（LLMs）彻底改变了人工智能领域，提供了令人印象深刻的语言理解和生成能力。本文将指导您构建一个使用本地LLM的Streamlit聊天应用程序，特别是来自Meta的Llama 3.1 8b模型，通过Ollama库进行集成。
TensorFlow相关组件的安装
AAI666666的博客
01-11 1324
TensorFlow相关组件的安装
LLAMA3.1 8B 本地部署并配合Obsidian建立本地AI知识管理系统
杜衡老师的自留地
07-30 716
目前，LLAMA3.1模型分为8B、70B、405B三个版本，其中70B和405B对于显存的要求均已超过了一般家用电脑的配置(或者换个说法，用一张4090也是带不起来的)，所以运行8B即可。LLAMA3.1 8B的性能约相当于ChatGPT3.5。经过我的测试4080、2080、intel ultra 9 185H（无独立显卡，其能力约相当于1060）都是可以带得动8B模型的，当然显卡越好，响应的速度越快。
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 1726
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
LLM - 使用 HuggingFace + Ollama 部署最新大模型 (GGUF 格式 与 Llama 3.1)
Mystra
08-08 2957
Ollama 是用于构建和运行大型语言模型(LLM)应用的开源工具，提供了一个简洁易用的命令行界面和服务器，让用户能够轻松下载、运行和管理各种开源 LLM，默认支持大量模型，如果是 HuggingFace 最新模型，或者自制模型，支持转换成 GGUF 格式，再进行调用。
如何微调 Llama 3.1 8B(教程含源码)
iCloudEnd的博客
10-18 202
准备好使用最新的 LLaMA 3.1 模型提升您的 AI 技能了吗？加入我的详细教程，我将演示如何在 Jupyter Colab 中微调这个强大的语言模型 - 无需昂贵的硬件。我们将一起使用 Google Colab 和 Hugging Face 上的免费工具来完成设置、配置和微调过程。在本教程中，我们将介绍：使用必要的工具和库设置您的环境。减少计算负荷的策略，包括量化和模型提炼。transformers使用流行的库（如和）对基于文本的数据集实现微调accelerate。
本地运行 Llama 3.1 模型：综合指南,使用 Llama 3.1 Ollama 和 LM Studio构建应用程序(教程含程序)
iCloudEnd的博客
07-25 1050
Llama 3.1 是 Meta 大型语言模型系列的最新版本，它已席卷 AI 界。凭借其出色的性能和开源特性，许多人都渴望在本地机器上利用其强大功能。本指南将引导您使用 Ollama 和 LM Studio 等流行工具在本地运行 Llama 3.1 模型的过程，并与其他领先的 AI 模型进行比较。
开源模型应用落地-Meta-Llama-3.1-8B-Instruct与vllm-单机多卡-RTX 4090双卡（十四）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-09 3万+
4090单机双卡部署vllm，并集成meta-llama-3.1-8b-instruct
部署和体验llama3.1:8B中文微调版本
szw的博客
08-14 3510
llama-3-1 meta于2024-07-23发布文档gitCloudflare提供了免费访问的入口如下，Llama 3.1模型在中文支持方面仍有较大提升空间在Hugging Face上已经可以找到经过微调、支持中文的Llama 3.1版本。
6小时完成Llama 3.1-8B适配并开源！MindSpore Transformers大模型套件使能开发者创新
Kenji_Shinji的博客
07-26 888
大模型开发套件MindSpore Transformers基于MindSpore内置的并行技术和组件化设计,构建了大模型训练、微调、评估、推理、部署的全流程开发套件，支持业内主流的Transformer类预训练模型和SOTA下游任务应用，可以帮助用户轻松的实现大模型训练和创新研发。推理部署上，代码拉取、权重下载、权重转换步骤与微调一致，实现权重一键转换，推理结果显示，基于MindSpore Transformers适配的Llama 3.1模型精度与原生模型精度对齐。，即可得到Llama 3.1。
放弃评测大模型，普林斯顿大学已经开始评估Prompt了，提出Prompt评估框架
2401_85373898的博客
07-08 1217
这篇论文具有一个有趣的结论，在实际的 Prompt 工程之中有时简单的 Prompt 生成方式有时也会取得良好的性能，在 Few-shot 的设置之中，任务无关的方法会表现出更好的性能，而一些自动生成 Prompt 的方法则往往会缺乏竞争力，无法享受 Prompt 对模型性能带来的提升。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。
Llama3.1的部署与使用
白乐天_ξ( ✿＞◡❛)的博客
09-21 1343
Llama3.1 是 Meta（原 Facebook）公司开发的一款超大型语言模型。它的发布时间是在2024 年 7 月 23 日，模型系列包括和。性能与特点详情1. 处理能力提升长文本处理能力增强，所有三款模型都具备改进的 128k 上下文长度，相比之前版本增加了 12 万个标记（token），模型容量是上一版本的 16 倍。多语言能力进步，提升了在英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语等八种语言对话场景中的推理能力。2. 语言理解与推理能力。
M2 Mac mini跑Llama3
fenglllle的博客
04-29 2681
在4-19左右，Meta 宣布正式推出下一代开源大语言模型Llama 3；共包括 80 亿和 700 亿参数两种版本，号称 “是 Llama 2 的重大飞跃”，并为这些规模的 LLM 确立了新的标准。实际上笔者早就体验过，只不过自己电脑没什么显卡（核显），所以一直没跑llama，但是最近听说m2芯片可以运行，就体验了一下。看图表8B的数据可以在本地运行，70B就不用想了。试了一下真的可行。
ollama使用llama3.1案例
weixin_38978741的博客
08-14 1256
平台管理和调度超过1000台GPU服务器，服务器类型包含H800、 A800、 V100、 4090、3090、 3080、2080TI、1080TI 等英伟达全系列服务器，和多种国产信创GPU服务器，公司团队对各种类型及品牌的GPU服务器有着丰富组装和运维经验。算力方面可以通过智星云来实现，智星云是安诺其集团全资子公司上海亘聪信息技术有限公司旗下的GPU算力平台。我们可以在命令行中与他交互。就这么简单就能运行起来了。当然我们也可以用接口访问。我们会看到一个注册页面。是我们开放的端口之一。
做LLM推理时，常见的显卡如何选择？
2401_82469710的博客
06-17 857
随着开源LLM越来越成熟，业务接入LLM推理也成为必然，如何选模型大小和显卡，主要看下面这些。
linux部署llama3.1-8b
最新发布
10-24
Llama3.1-8b是一个软件包，它可能是某个特定项目或应用的一部分。在Linux环境中部署Llama3.1-8b通常涉及以下几个步骤： 1. **下载源码**：首先，你需要从官方源或者发布者的仓库下载Llama3.1-8b的最新版本。这通常通过git克隆、wget、HTTP或HTTPS链接完成。 ```bash wget https://example.com/llama3.1-8b.tar.gz # 假设这是下载地址 ``` 2. **解压文件**： ```bash tar -xvf llama3.1-8b.tar.gz ``` 3. **配置安装**： 进入解压后的目录，然后运行`./configure`脚本来根据你的系统设置构建选项。 4. **编译与安装**： ```bash make && sudo make install ``` 如果需要root权限，记得使用sudo。 5. **验证安装**： 安装完成后，你可以通过运行`llama3.1-8b --version`检查是否已成功安装，并确认其功能正常。 6. **添加启动项或服务**： 可能需要将应用程序添加到系统的启动脚本或服务管理器，如systemd或chkconfig，以便于开机自启。 注意：上述步骤假设Llama3.1-8b是一个C/C++或类似的应用程序。实际部署可能因软件的不同而有所变化。如果你不确定如何操作，可以查阅它的文档或者寻求社区支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值