使用Ollama本地部署Llama 3.1大模型

于 2024-09-17 17:15:00 发布
阅读量692 收藏 24
点赞数 16
文章标签： llama 深度学习 自动驾驶 人工智能 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85375298/article/details/142214028
版权

Llama 3.1 介绍

2024 年 7 月 24 日，Meta 宣布推出迄今为止最强大的开源模型——Llama 3.1 405B，Llama 3.1 405B 支持上下文长度为 128K Tokens， 增加了对八种语言的支持，号称第一个在常识、可操纵性、数学、工具使用和多语言翻译方面与顶级人工智能模型相媲美的模型。

当然 405B 新一代大模型所需要的算力成本也是巨大的，一般的中小型企业和个人需要慎重评估一下成本与产出是否值得应用。好在作为新版本发布的一部分，官方也同时推出全新升级的 Llama 3.1 70B 和 8B 模型版本。

我们今天就在百度智能云 GPU 服务器上来部署体验最新 Llama3.1 8B 模型。

安装环境

硬件环境
  • • 百度智能云 GPU 服务器。

本文以百度智能云 GPU 服务器为例进行安装部署，购买计算型 GN5 服务器， 配置 16 核 CPU，64GB 内存，Nvidia Tesla A10 单卡 24G 显存，搭配 100GB SSD 数据盘， 安装 Windows 2022 Server 系统。

  • • 如果您使用自己的环境部署，建议 NVIDIA GPU，民用卡 30、40 系列，商用卡 T4、V100、A10 等系列，至少 8G 以上显存。服务器配置建议最低配置为 8 核 32 G 100G 磁盘，5M 带宽。

安装步骤

购买服务器
    1. 登录 控制台 ，按需购买 云服务器 ，比如选择配置为 16 核 64G 带 1 张 A10 GPU 卡的实例。

    1. 安装操作系统
  • • 选择 Windows 公共镜像，支持 Windows2019 及以上版本，本教程我们选择 Windows2022 。

  • • 通过 VNC 登录实例，安装 GPU 驱动程序。

通过浏览器进入 NVIDIA官方驱动 下载地址，选择相应驱动下载进行安装，本教程我们选择 538.78， CUDA 版本为 12.2。

安装 Ollama 客户端
  • • 如果您有科学上网环境，最好从 官方下载地址 下载，保证最新版本。如果没有，您可以从 临时下载地址 下载。

  • • 安装完毕会自动运行，右下角可以看到这个图标：

  • • 打开 windows powershell 或 CMD 命令行终端，输入 ollama 命令，回车，即可显示 ollama 命令的使用帮助

下载模型文件
加载模型
  • • 由于 A10 GPU 只有 24G 显存，因此我们安装 8b 模型版本，如果您的显存 80G 以上，那么推荐安装 70b 模型版本。

在命令行中输入如下命令，即可在线拉取模型。

ollama run llama3.1:8b

如果您的显卡非常好，其他两个模型的拉取命令如下 ：

ollama run llama3.1:70b    ollama run llama3.1:405b

  • • 出现success提示时，说明模型加载完成，可以愉快地跟大模型交流了。

更多模型支持

当然 ollama 不仅支持运行 llama3.1，实际上他支持更多的开源模型，详细教程见官方文档： 模型库

手动导入模型

如果您的网络情况不太好，在线下载模型进度缓存，官方也支持从其他渠道下载好的模型导入。

详细参考 导入模型 ，这里不做赘述。

模型应用

直接在控制台中对话

模型加载完成之后，出现如下提示，就可以直接跟大模型对话了。

配置远程访问

Ollama 启动的默认地址为 [http://127.0.0.1:11434](http://localhost:11434) ，我们通过设置环境变量 OLLAMA_HOST来修改默认监听地址和端口，这往往对我们需要远程调用API时非常有用。同时，如果要在open-webui等UI面板中调用 API ，需要为 Ollama 进行跨域配置后方可正常使用。

需要了解如下三个变量的用途

变量名值说明
OLLAMA_HOST0.0.0.0:8888用于配置监听的 IP 和端口
OLLAMA_ORIGINS*支持跨域访问，也可以指定特定域名，如：“baidu.com,hello.com”
OLLAMA_MODELSC:\Users\Administrator\.ollama模型文件较大，建议调整到数据盘目录下。

windows 修改环境变量如下：

    1. 停止 ollama 服务

右下角这个图标，右键选择退出 。

    1. 设置环境变量

右键"此电脑 > 属性 > 高级系统设置 > 环境变量 > Administrator 的用户变量 > 新建用户变量"。

设置环境变量，表示监听在0.0.0.0:8888上，其他变量设置依次添加。

  1. 1. 设置完毕环境变量，打开新的 powershell 或者 CMD 命令行终端， 重新启动 ollama 服务并加载模型。
ollama run llama3.1:8b

API 调用

开启远程连接之后，您就可以远程调用 API 了，示例如下：

curl http://106.12.151.249:8888/api/generate -d '{     "model": "llama3.1:8b",     "prompt": "你好啊"   }'

流式输出：

Web UI

上面的对话测试，我们都是通过命令行来进行交互的，当然肯定有可视化的 UI 界面，而且很多，这里介绍两个。

Open WebUI

Github: https://github.com/open-webui/open-webui

官方文档：https://docs.openwebui.com/

    1. 安装

官方给出了两种安装方式

  • • 使用 docker 安装。这个是官方推荐的安装方式，方便快捷，但不幸的是，百度智能云 Windows Server 不支持二次虚拟化，Windows 上需要虚拟 Linux 环境才能安装 Docker。如果您使用的是 Linux 环境，可以通过 Docker 安装，本教程不使用这种。

  • • 使用 pip 安装。

有两个注意点：

1） 您的 Python 版本不能为 Python3.12，因为截至本教程编写时，open-webui 还不支持 Python3.12，本教程使用 python3.11 环境，如您 windows 系统中已经有安装 Python3.12，推荐使用 Anaconda 来管理多个 Python 运行环境。

2） 运行依赖 pytorch，如您的环境没有安装，执行如下命令安装依赖：

pip install torch torchvision torchaudio --index-url    https://download.pytorch.org/whl/cu121

详细安装过程不做赘述，参考 官方安装文档

    1. 使用
  • • 打开页面，注册登录，进入设置，将ollama服务器中的模型加载进来。

  • • 加载成功后，回到对话界面，可以开始聊天了。

  • • 问个问题，响应速度还是不错的。

LobeChat

Github: https://github.com/lobehub/lobe-chat

官方文档：https://lobehub.com/zh/docs/self-hosting/start

    1. 安装

详细安装过程不做赘述，参考 官方安装文档 ，或者您也可以参考我们的另一篇文章：零成本搭建一个多模态大模型对话平台

    1. 使用
  • • 在设置里，选择语言模型，找到Ollama，开启它，并做连通性检查 。

  • • 检查通过，获取模型列表

  • • 回到聊天窗口，选择llama3.1:8b模型

  • • 开始愉快的聊天吧。

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

😝有需要的小伙伴，可以VＸ扫描下方二维码免费领取🆓

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）
在这里插入图片描述

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

在这里插入图片描述
在这里插入图片描述

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

在这里插入图片描述

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）

在这里插入图片描述

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）
img

在这里插入图片描述

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

在这里插入图片描述
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

玩转AI大模型
关注
【llama3.1】ollama的使用--本地部署使用llama3.1模型
weixin_46481662的博客
07-24 508
安装完成ollama后，在命令行窗口输入上图表示 Ollama 正在下载llama3任务所需的资源文件，并显示了当前的下载进度、速度和预计剩余时间。这是 Ollama 在准备运行llama3任务之前所需的步骤。
LLM - 使用 HuggingFace + Ollama 部署最新大模型 (GGUF 格式 与 Llama 3.1)
Mystra
08-08 1925
Ollama 是用于构建和运行大型语言模型(LLM)应用的开源工具，提供了一个简洁易用的命令行界面和服务器，让用户能够轻松下载、运行和管理各种开源 LLM，默认支持大量模型，如果是 HuggingFace 最新模型，或者自制模型，支持转换成 GGUF 格式，再进行调用。
NLP（十八）：LLM 的推理优化技术纵览
张伟的专栏
01-11 2089
目录收起一、子图融合（subgraph fusion）二、模型压缩（Model Compression）2.1 稀疏(Sparsity)2.2 量化(Quantization)2.3 蒸馏(Distillation)三、并行化（Parallelism）3.1 数据并行 (Data Parallelism, DP)3.2 张量并行(Tensor Parallelism, TP)3.3 流水线并行(Pipeline Parallelism, PP)四、Transformer 结构优化。
放弃评测大模型，普林斯顿大学已经开始评估Prompt了，提出Prompt评估框架
2401_85373898的博客
07-08 1067
这篇论文具有一个有趣的结论，在实际的 Prompt 工程之中有时简单的 Prompt 生成方式有时也会取得良好的性能，在 Few-shot 的设置之中，任务无关的方法会表现出更好的性能，而一些自动生成 Prompt 的方法则往往会缺乏竞争力，无法享受 Prompt 对模型性能带来的提升。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。
【LLM大模型】使用Ollama本地部署Llama 3.1大模型
huang9604的博客
07-31 830
前几天，Meta发布了他们迄今为止体量最大的开源AI模型——Llama 3.1。这个模型在多项基准测试中表现卓越，甚至优于GPT-4o和Anthropic的Claude 3.5 Sonnet。
Ollama 本地部署大模型 | Windows本地部署 Llama3.1 大模型
静愚AGI
07-23 1599
Ollama是一个开源的大型语言模型部署工具，它可以帮助用户快速在本地部署运行大模型。类似于Docker一样，仅仅用几行命令就可以运行一个大模型。”，之后重启ollama，我把下载模型的目录设置在了"D:\ollama"目录下。由于Ollama在下载模型时，会自动下载到C盘，因此需要设置下载目录。Ollama有一套用于运行和管理模型的 REST API。这样就基本完成了Ollama在本地部署大模型。在安装模型之前需要到模型仓库中获取模型信息。剩下的就是通过三方工具开发自己的大模型应用。
大模型部署-使用OpenVINO本地化部署LLaMa3-附项目源码+流程教程-优质项目实战.zip
06-07
在本地部署LLaMa3时，首先需要下载和安装OpenVINO SDK，然后利用Model Optimizer将LLaMa3模型转换为IR。这通常涉及以下步骤： 1. 准备模型：确保拥有LLaMa3模型的权重文件和配置文件。 2. 安装和配置OpenVINO：根据...
【大模型部署及其应用 】Ollama搭建运行中文大语音模型Llama3-8B-Chinese-Chat
源代码杀手的博客
08-17 269
Ollama 是一种用于运行大语言模型（如 LLaMA）的平台，适合本地化部署和运行。以下是如何在 Ollama 上搭建和运行中文大语言模型 Llama3-8B-Chinese-Chat 的步骤：下载地址：https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit项目地址：https://github.com/ymcui/Chinese-LLaMA-Alpaca-3?
如何使用Python和Hugging Face在本地运行Llama-3.1
hongfu951的专栏
08-01 1126
最新的Llama（大型语言模型 Meta AI）3.1是由Meta AI开发的强大AI模型，在自然语言处理（NLP）社区中引起了广泛关注。它是迄今为止最强大的开源LLM。在这篇博客中，我将指导你如何从Hugging Face克隆Llama 3.1模型并在本地机器上使用Python运行它。之后，你可以将它集成到任何AI项目中。
大模型入门3:理解LLAMA
yuetan的博客
09-13 506
【代码】大模型入门3:理解LLAMA。
小琳AI课堂：LLaMA 3.1 开源大模型的全新里程碑
wx740851326的博客
09-12 715
本期的小琳AI课堂就到这里，希望对大家有所启发和帮助！如果对LLaMA模型还有更多的好奇和问题，欢迎继续提问哦！🌈👋。
llama网络结构及源码
靓仔沾点健忘症，写给时间下游的自己
09-12 980
模型初始化、tokenizer、位置编码、mask、模型前向传播，生成下一分词的循环过程
Llama 3.1 大模型指令微调提升中文能力
听雨草堂
09-12 368
Llama 3.1 是一个通用的大型语言模型，尽管它在多种语言上进行了训练，但在某些特定语言（如中文）上的表现可能不如专门针对该语言进行优化的模型。通过指令微调，可以提高模型在处理中文文本时的理解和生成能力。对于某些领域（如医疗、法律、科技等），可能存在大量的中文专业术语和特定表达。通过指令精调，可以让模型更好地理解和生成这些领域的中文内容。通用大模型Llama 3.1 在中文评测数据集C-Eval、CMMLU 上表现不佳，通过精调可以针对特定任务进行优化，提升模型在这些任务上的性能。
使用 Milvus、vLLM 和 Llama 3.1 搭建 RAG 应用
ZILLIZ
09-11 660
vLLM 是一个简单易用的 LLM 推理服务库。加州大学伯克利分校于 2024 年 7 月将 vLLM 作为孵化项目正式捐赠给 LF AI & Data Foundation 基金会。欢迎 vLLM 加入 LF AI & Data 大家庭！????在主流的 AI 应用架构中，大语言模型（LLM）通常与向量数据库配套使用，用于构建检索增强生成（RAG）应用，从而解决 AI 幻觉问题。本文将...
基于深度学习的多模态信息检索
weixin_42605076的博客
09-13 1214
基于深度学习的多模态信息检索技术，通过多模态特征的提取、融合和匹配，实现了从多种数据模态中进行高效检索的能力。随着深度学习技术的不断进步，特别是注意力机制和变换器架构的应用，多模态信息检索将在多个领域展现出更广泛的应用前景和潜力。
《深度学习》深度学习 框架、流程解析、动态展示及推导
wx_AHao1004Y的博客
09-12 1448
深度学习是一种基于人工神经网络架构进行机器学习的技术方法。它模拟人类大脑的神经网络结构和工作原理，通过多层次的神经元网络，对大量的输入数据进行处理和分析，从而实现对数据的自动学习和抽象表示，进而实现对复杂问题的解决和预测。 深度学习的核心是深度神经网络，它由多个隐藏层组成，每个隐藏层包含多个神经元节点。每个神经元节点都与上一层和下一层的神经元节点相连，通过对这些节点之间的连接权重进行调整，使得网络能够对输入数据进行有效的学习和表示。
【深度学习|PyTorch】基于 PyTorch 搭建 U-Net 深度学习语义分割模型——附代码及其解释！
最新发布
985小水博的摸鱼日常
09-14 606
【深度学习|PyTorch】UNet学习笔记！
深度学习：基础知识
mohanyelong的博客
09-12 966
深度学习：基础知识
ollama continue llama3.1
07-27
"Ollema continue llama3.1" 这个表述看起来像是一个混合的语言或者是某种特定上下文的术语，并非标准的编程术语。它似乎包含了一个游戏、命令或者程序的一部分，但是没有足够的背景信息让我给出确切的解释。 如果这是一个编程相关的上下文，可能是某种语言或框架中的指令集，比如在某些游戏中可能有类似的操作序列。通常，"continue"是一个编程关键字，用于跳过当前循环的剩余部分并继续下一轮迭代；"llama"则更像是一个名字或玩笑代称。 然而，如果你能提供更多背景信息或者详细说明这个短语的出处，我可以提供更准确的帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值