轻松掌握 Llama 3.1：轻松本地部署与远程使用的全攻略

于 2024-08-28 16:35:41 发布
阅读量352 收藏 13
点赞数 4
文章标签： llama 人工智能 计算机视觉 大模型 微调 LLM 大模型部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81887304/article/details/141643986
版权

前言:

Llama 3.1 是 Meta（Facebook 的母公司）发布的一系列最先进的开源大语言模型。Llama 3.1 系列包括 8B（80 亿参数）、70B（700 亿参数）和 405B（4050 亿参数）模型。其中，405B 是 Meta 迄今为止最大的模型。

本地部署的硬件要求，请确认您的硬件是否能够正常运行，以免浪费时间

Windows：3060以上显卡+8G以上显存+16G内存，硬盘空间至少20G

Mac：M1或M2芯片 16G内存，20G以上硬盘空间

具体模型的显卡需求：

  • llama3.1-8b，至少需要8G的显存
  • llama3.1-70b，至少需要大约 70-75 GB 显存
  • llama3.1-405b，运行需要非常高的显存和硬件资源，至少需要大约 400-450 GB 显存，请谨慎选择。

如果确定没问题，请继续往下看。

一、下载Ollama

Ollama 是一个开源的大模型管理工具，它提供了丰富的功能，包括模型的训练、部署、监控等。通过Ollama，你可以轻松地管理本地的大模型，提高模型的训练速度和部署效率。此外，Ollama还支持多种机器学习框架，如TensorFlow、PyTorch等，使得你可以根据自己的需求选择合适的框架进行模型的训练。【官网下载地址需要的请留言】请根据您的系统下载对应的版本

在这里插入图片描述

二、安装使用Ollama

双击安装，默认安装在C盘。安装完成后打开 windows powershell 或 CMD 命令行终端，输入 ollama 命令，回车，即可显示 ollama 命令的使用帮助

在这里插入图片描述

三、下载llama 3.1模型文件

运行CMD命令，输入

ollama run llama3.1:8b

如果你的硬件强悍，显卡非常好，也下载更大的llama 3.1的模型70B和405B

ollama run llama3.1:70b 
ollama run llama3.1:405b

耐心等待下载加载完成后就可以对话测试看看有没有问题。
在这里插入图片描述

四、配置远程访问

Ollama 启动的默认地址为http://127.0.0.1:11434，我们需要远程调用，可以通过设置环境变量 OLLAMA_HOST来修改默认监听地址和端口

三个变量的用途

变量名值说明
OLLAMA_HOST0.0.0.0:8888用于配置监听的 IP 和端口
OLLAMA_ORIGINS*支持跨域访问，也可以指定特定域名，如：”baidu.com,hello.com”
OLLAMA_MODELSC:\Users\Administrator.ollama模型文件较大，建议调整到数据盘目录下。
windows 修改环境变量的方法：

1、停止和退出ollama 服务

2、右键”此电脑 > 属性 > 高级系统设置 > 环境变量 > Administrator 的用户变量 > 新建用户变量”，把3个变量依次添加进去

在这里插入图片描述

3、然后重新启动 ollama 服务并加载模型

4、接下来我们就可以使用可视化的Web UI来远程使用了，这类UI有很多，推荐2款，之前有过介绍和官方都有详尽的文档，就不多说了，请参照官方文档。

Open WebUI

  • Github: https://github.com/open-webui/open-webui
  • 官方文档：https://docs.openwebui.com/

LobeChat

  • Github: https://github.com/lobehub/lobe-chat
  • 官方文档：https://lobehub.com/zh/docs/self-hosting/start

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

人工智能MOS
关注
  • 4
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Llama3本地部署的解决方案
herosunly的博客
04-23 9万+
本文主要介绍了Llama3本地部署的解决方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行代码 3.1 修改文件 3.2 运行API 3.3 运行聊天界面 3.4 Python调用API 3.4.1 单轮对话 3.4.2 多轮对话
【llama3.1】ollama的使用--本地部署使用llama3.1模型
weixin_46481662的博客
07-24 330
安装完成ollama后，在命令行窗口输入上图表示 Ollama 正在下载llama3任务所需的资源文件，并显示了当前的下载进度、速度和预计剩余时间。这是 Ollama 在准备运行llama3任务之前所需的步骤。
掌握 Llama 3.1：轻松本地部署与远程使用的全攻略
xzp740813的博客
08-09 1056
Llama 3.1 是 Meta（Facebook 的母公司）发布的一系列最先进的开源大语言模型。Llama 3.1 系列包括 8B（80 亿参数）、70B（700 亿参数）和 405B（4050 亿参数）模型。其中，405B 是 Meta 迄今为止最大的模型。
【LLM开源模型】LLMs-Llama3.1-240723通关攻略笔记
2401_85375298的博客
07-30 398
【相关改进】模型参数405B,训练数据量15.6T tokens,上下文窗口大小8K->128K，全系使用GQA。文本模型训练流程****文本模型训练：多模态模型训练：Multi-modal encoder pre-training+Vision adapter training+Speech adapter training。【文本模型训练流程】模型参数405B,训练数据量15.6T tokens,上下文窗口大小8K。b.持续预训练阶段：即长文本训练阶段，逐步调整上下文窗口大小为128K。
AI大模型本地离线部署全攻略：三种方案及安装教程详解
2401_85390073的博客
07-30 832
在GPU下运行：docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。把我们的模型放到对应的文件夹中。
GraphRAG+ollama+Lmstudio实操完整详细流程
weixin_42264784的博客
07-26 2147
中，我完成到了初始化GraphRAG这里，之后的大模型Api没有调用，本文记录了整个GraphRAG+ollama+Lmstudio实操完整详细流程。包括完整的GraphRAG的操作，ollama的端口获取、Lmstudio完整的模型瞎子和Api获取。小白学习，可供大家参考。
【InternLM】基于InternLM和LangChain从0开始搭建你的知识库【完全攻略】【LangChain和向量数据库的详细介绍】
艰难困苦，玉汝于成。
01-10 3034
这一篇文章的主要内容是LangChain介绍、向量数据库介绍以及基于InternLM和LangChain从0开始搭建你的知识库实践！
【考研经验贴】24考研860软件工程佛系上岸经验分享【丰富简历、初复试攻略、导师志愿、资料汇总】
文艺倾年的博客
04-04 4134
电子科技大学的信软院的电子信息专业初试为政治、英一、数一、860专业课（软件工程+计算机网络），考研难度中等，本人是24考研应届生，初试成绩：政治：71、英语：63、数学：123、专业课：133、总分：390分，以下是我在备考过程中的经验总结，希望能帮到正在备考这所学校的同学。💡其他科目考生 也可 以此做参考。
从零开始在本地部署大模型：基于Llama 3.1
iShare_Carlos的博客
07-28 2573
Llama 3.1 是 Meta 公司于 2024 年 7 月 23 日发布的最新开源大语言模型。这一版本在先前 Llama 3 的基础上进行了增强，支持多模态处理，并具有多种参数规模，包括 8B、70B 和 405B 参数。Llama 3.1 经过大规模文本数据的预训练，并结合了超过 1000 万个人工标注的示例，显著提高了模型的性能和适应性。Llama 3.1 尤其在多语言对话和编码能力方面表现出色，是目前 Meta 最先进的大语言模型之一。
LLM - 使用 HuggingFace + Ollama 部署最新大模型 (GGUF 格式 与 Llama 3.1)
Mystra
08-08 1524
Ollama 是用于构建和运行大型语言模型(LLM)应用的开源工具，提供了一个简洁易用的命令行界面和服务器，让用户能够轻松下载、运行和管理各种开源 LLM，默认支持大量模型，如果是 HuggingFace 最新模型，或者自制模型，支持转换成 GGUF 格式，再进行调用。
【llama3.1】Ollama 下载安装指南
weixin_46481662的博客
07-24 1599
以上就是在 Windows 系统上下载和安装 Ollama 的详细步骤。希望这篇指南能帮助你顺利安装并开始使用 Ollama。如果你在安装过程中遇到任何问题，欢迎在评论区留言，我们会尽快帮助你解决。
(章节 3.1) 本地运行 AI 有多慢 ? 大模型推理测速 (llama.cpp, Intel GPU A770)
穷人小水滴的博客
08-26 896
由于本文太长, 分开发布, 方便阅读.
编译运行 llama.cpp (vulkan, Intel GPU SYCL)
穷人小水滴的博客
08-23 1299
本文使用容器 (podman) 编译了 llama.cpp 的 vulkan 后端和 SYCL 后端, 并成功在 Intel GPU (A770) 运行, 获得了较快的语言模型推理速度.SYCL 后端比 vulkan 后端稍微快一点, 但不多. 使用的模型 (gguf), 生成长度, 软件驱动版本, 运行参数设置等很多因素, 都可能影响模型推理的速度, 所以本文中的运行速度仅供参考.SYCL 比 vulkan 快不了多少,但是使用 SYCL却非常麻烦!!
基于稀疏预训练的LLaMA-2模型压缩与加速
python1222_的博客
08-26 883
自然语言处理 (NLP) 是一个前沿领域，它使机器能够理解、解释和生成人类语言。它在语言翻译、文本摘要、情感分析和对话代理开发等各个领域都有应用。大型语言模型 (LLM) 通过利用海量数据以高精度执行任务，几乎可以媲美人类的表现，从而极大地推动了这些应用的发展。当今 NLP 面临的主要挑战是训练和部署这些 LLM 所需的巨大计算和能源需求。它们庞大的规模通常限制了这些模型，使其变得昂贵且难以被更广泛的用户所接受。
transformers调用llama的方式
qq_45270993的博客
08-22 409
可用于QA，summarize，可使用llama3-chat同样的示例代码。llama2系列模型对应transformers的4.32.1版本。llama3系列模型对应transformers的4.35.0版本。llama3系列模型对应transformers的4.35.0版本。可用于QA，summarize，示例代码。也可以使用另一个demo。
LLaMA Factory微调Llama3模型
小森的博客
08-26 1372
是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过Web UI界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架。
大模型学习笔记 - LLM 之 LLaMA系列（待更新）
m0_37531129的博客
08-22 453
LLaMA: Open and Efficient Foundation Language Models Llama 2: Open Foundation and Fine-Tuned Chat Models (LLama2 & LLama2-Chat) LLama 3 | LLama 3.1涉及到的基础知识点:涉及到的基础知识点:LLama2: 我们还将预训练语料库的大小增加了 40%，增加了模型的上下文长度，并采用分组查询注意力（Ainslie et al., 2023）。我们正在发布具有 7B、13
本地运行 AI 有多慢 ? 大模型推理测速 (llama.cpp, Intel GPU A770)
最新发布
穷人小水滴的博客
08-26 1192
通过llama.cpp运行 7B.q4 (4bit 量化), 7B.q8 (8bit 量化) 模型, 测量了生成式 AI 语言模型在多种硬件上的运行 (推理) 速度.根据上述测量结果, 可以得到以下初步结论:(1)显存 (内存) 大就是正义!大, 就是正义!!限制能够运行的模型规模的最主要因素, 就是显存的大小. 目前的大部分显卡 (除了高端的比如 4090), 显存都不超过 16GB.
llama3.1本地部署
07-28
Llama是一种基于Python的深度学习模型服务器，特别适用于像PyTorch这样的框架。Llama3.1是一个版本迭代，它允许用户在本地机器上部署预训练的神经网络模型。本地部署通常涉及以下几个步骤： 1. **下载和安装**：首先，你需要从Llama的GitHub仓库或其他官方渠道下载最新版本的Llama3.1安装包。 2. **模型准备**：将你的PyTorch模型转换成适合Llama的格式，这通常需要对模型进行保存然后加载到Llama的支持结构中。 3. **配置设置**：创建一个配置文件，指定模型的位置、输入和输出处理等信息，这是Llama运行的核心配置。 4. **启动服务**：通过命令行或配置脚本启动Llama服务，该服务会监听请求，并根据配置处理来自客户端的数据并返回预测结果。 5. **测试连接**：使用API客户端验证本地部署的服务是否正常工作，例如通过发送样本数据并接收响应。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值