使用Ollama本地部署Llama 3.1大模型

于 2024-09-16 11:00:00 发布
阅读量857 收藏 19
点赞数 9
文章标签： llama 人工智能 语言模型 自然语言处理 chatgpt LLM 大语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Y525698136/article/details/142249264
版权

Llama 3.1 介绍

2024 年 7 月 24 日，Meta 宣布推出迄今为止最强大的开源模型——Llama 3.1 405B，Llama 3.1 405B 支持上下文长度为 128K Tokens， 增加了对八种语言的支持，号称第一个在常识、可操纵性、数学、工具使用和多语言翻译方面与顶级人工智能模型相媲美的模型。

当然 405B 新一代大模型所需要的算力成本也是巨大的，一般的中小型企业和个人需要慎重评估一下成本与产出是否值得应用。好在作为新版本发布的一部分，官方也同时推出全新升级的 Llama 3.1 70B 和 8B 模型版本。

我们今天就在百度智能云 GPU 服务器上来部署体验最新 Llama3.1 8B 模型。

安装环境

硬件环境

  • 百度智能云 GPU 服务器。

本文以百度智能云 GPU 服务器为例进行安装部署，购买计算型 GN5 服务器， 配置 16 核 CPU，64GB 内存，Nvidia Tesla A10 单卡 24G 显存，搭配 100GB SSD 数据盘， 安装 Windows 2022 Server 系统。

  • 如果您使用自己的环境部署，建议 NVIDIA GPU，民用卡 30、40 系列，商用卡 T4、V100、A10 等系列，至少 8G 以上显存。服务器配置建议最低配置为 8 核 32 G 100G 磁盘，5M 带宽。

安装步骤

购买服务器

  1. 登录 控制台 ，按需购买 云服务器 ，比如选择配置为 16 核 64G 带 1 张 A10 GPU 卡的实例。

在这里插入图片描述

  1. 安装操作系统
  • 选择 Windows 公共镜像，支持 Windows2019 及以上版本，本教程我们选择 Windows2022 。

在这里插入图片描述

  • 通过 VNC 登录实例，安装 GPU 驱动程序。

通过浏览器进入 NVIDIA官方驱动 下载地址，选择相应驱动下载进行安装，本教程我们选择 538.78， CUDA 版本为 12.2。

在这里插入图片描述

安装 Ollama 客户端

在这里插入图片描述

在这里插入图片描述

  • 安装完毕会自动运行，右下角可以看到这个图标：

在这里插入图片描述

  • 打开 windows powershell 或 CMD 命令行终端，输入 ollama 命令，回车，即可显示 ollama 命令的使用帮助

在这里插入图片描述

下载模型文件

加载模型
  • 由于 A10 GPU 只有 24G 显存，因此我们安装 8b 模型版本，如果您的显存 80G 以上，那么推荐安装 70b 模型版本。

在命令行中输入如下命令，即可在线拉取模型。

arduino
 代码解读
复制代码
ollama run llama3.1:8b

如果您的显卡非常好，其他两个模型的拉取命令如下 ：

arduino
 代码解读
复制代码
ollama run llama3.1:70b 
ollama run llama3.1:405b

在这里插入图片描述

  • 出现success提示时，说明模型加载完成，可以愉快地跟大模型交流了。

在这里插入图片描述

更多模型支持

当然 ollama 不仅支持运行 llama3.1，实际上他支持更多的开源模型，详细教程见官方文档： 模型库

手动导入模型

如果您的网络情况不太好，在线下载模型进度缓存，官方也支持从其他渠道下载好的模型导入。

详细参考 导入模型 ，这里不做赘述。

模型应用

直接在控制台中对话

模型加载完成之后，出现如下提示，就可以直接跟大模型对话了。

在这里插入图片描述
在这里插入图片描述

配置远程访问

Ollama 启动的默认地址为 [http://127.0.0.1:11434](http://localhost:11434) ，我们通过设置环境变量 OLLAMA_HOST来修改默认监听地址和端口，这往往对我们需要远程调用API时非常有用。同时，如果要在open-webui等UI面板中调用 API ，需要为 Ollama 进行跨域配置后方可正常使用。

需要了解如下三个变量的用途

变量名值说明
OLLAMA_HOST0.0.0.0:8888用于配置监听的 IP 和端口
OLLAMA_ORIGINS*支持跨域访问，也可以指定特定域名，如：“baidu.com,hello.com”
OLLAMA_MODELSC:\Users\Administrator.ollama模型文件较大，建议调整到数据盘目录下。

windows 修改环境变量如下：

  1. 停止 ollama 服务

右下角这个图标，右键选择退出 。

在这里插入图片描述

  1. 设置环境变量

右键"此电脑 > 属性 > 高级系统设置 > 环境变量 > Administrator 的用户变量 > 新建用户变量"。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

设置环境变量，表示监听在0.0.0.0:8888上，其他变量设置依次添加。

在这里插入图片描述

  1. 设置完毕环境变量，打开新的 powershell 或者 CMD 命令行终端， 重新启动 ollama 服务并加载模型。
arduino
 代码解读
复制代码
ollama run llama3.1:8b

API 调用

开启远程连接之后，您就可以远程调用 API 了，示例如下：

vbnet
 代码解读
复制代码
curl http://106.12.151.249:8888/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "你好啊"
}'

流式输出：

在这里插入图片描述

Web UI

上面的对话测试，我们都是通过命令行来进行交互的，当然肯定有可视化的 UI 界面，而且很多，这里介绍两个。

Open WebUI

Github: github.com/open-webui/…

官方文档： docs.openwebui.com/

  1. 安装

官方给出了两种安装方式

  • 使用 docker 安装。这个是官方推荐的安装方式，方便快捷，但不幸的是，百度智能云 Windows Server 不支持二次虚拟化，Windows 上需要虚拟 Linux 环境才能安装 Docker。如果您使用的是 Linux 环境，可以通过 Docker 安装，本教程不使用这种。
  • 使用 pip 安装。

有两个注意点：

1） 您的 Python 版本不能为 Python3.12，因为截至本教程编写时，open-webui 还不支持 Python3.12，本教程使用 python3.11 环境，如您 windows 系统中已经有安装 Python3.12，推荐使用 Anaconda 来管理多个 Python 运行环境。

2） 运行依赖 pytorch，如您的环境没有安装，执行如下命令安装依赖：

python
 代码解读
复制代码
pip install torch torchvision torchaudio --index-url 
https://download.pytorch.org/whl/cu121

详细安装过程不做赘述，参考 官方安装文档

  1. 使用
  • 打开页面，注册登录，进入设置，将ollama服务器中的模型加载进来。

在这里插入图片描述

  • 加载成功后，回到对话界面，可以开始聊天了。

在这里插入图片描述

  • 问个问题，响应速度还是不错的。

在这里插入图片描述

LobeChat

Github: github.com/lobehub/lob…

官方文档： lobehub.com/zh/docs/sel…

  1. 安装

详细安装过程不做赘述，参考 官方安装文档 。

  1. 使用
  • 在设置里，选择语言模型，找到Ollama，开启它，并做连通性检查 。

在这里插入图片描述

  • 检查通过，获取模型列表

在这里插入图片描述在这里插入图片描述

  • 回到聊天窗口，选择llama3.1:8b模型

在这里插入图片描述

  • 开始愉快的聊天吧。

在这里插入图片描述

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

程序学到昏
关注
大模型管理工具Ollama搭建及整合springboot
congge_study的博客
06-01 8643
Ollama搭建与部署使用
【llama3.1】ollama的使用--本地部署使用llama3.1模型
weixin_46481662的博客
07-24 654
安装完成ollama后，在命令行窗口输入上图表示 Ollama 正在下载llama3任务所需的资源文件，并显示了当前的下载进度、速度和预计剩余时间。这是 Ollama 在准备运行llama3任务之前所需的步骤。
【24年最新】AI大模型零基础入门到精通学习资料大全，学完你就是LLM大师！
bagell的博客
08-08 519
通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。①智能客服：某科技公司员工在学习了大模型课程后，成功开发了一套基于自然语言处理的大模型智能客服系统。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，皆可用。如果你对大模型感兴趣，可以看看我整合并且整理成了一份AI大模型资料包，需要的小伙伴文末免费领取哦，
02-部署大模型工具Ollama以及使用
cygqtt的博客
07-11 3638
使用docker 部署的命令。
本地大模型1：安装部署本地Ollama大模型
最新发布
weixin_74825941的博客
09-10 1429
对ollama本地大模型的基本使用，下载了llama3.1:8b，可以进行基本的问答，推荐了两篇调用ollama的文章
ollma3.1本地部署
HRSTKHS的博客
07-30 705
安装llama3.1-405b，这是一个极其庞大的模型，安装和运行它在本地需要非常高的显存和硬件资源，至少需要大约 400-450 GB 显存，适合顶级大企业用户，安装命令就是。安装llama3.1-70b，至少需要大约 70-75 GB 显存，适合企业用户，安装命令就是。安装好后，请在powershell或者win+R输入cmd进入命令终端提示符进行模型的安装。​Windows：3060以上显卡+8G以上显存+16G内存，硬盘空间至少20G。安装llama3.1-8b，至少需要8G的显存，安装命令就是。
教你轻松本地电脑部署最新Llama3.1，搭建免费本地大模型助手
andy_68147772的博客
07-25 957
Facebook最新的Llama3.1大模型发布了。今天手把手教大家如何在本地电脑上部署Llama3.1大模型，个人电脑也可以轻松运行，打造一个属于自己的本地大模型助手。
Ollama：一个在本地部署、运行大型语言模型的工具
weixin_59191169的博客
05-28 3517
所谓自定义模型就是不适用Ollama官方模型库中的模型，理论可以使用其他各类经过转换处理的模型Ollama库中的模型可以通过提示进行自定义。# 设置温度参数# 设置SYSTEM 消息SYSTEM """作为AI智能助手，你将竭尽所能为员工提供严谨和有帮助的答复。"""Modelfile文档One-API是一个OpenAI接口管理 & 分发系统，支持各类大模型。这里使用Docker快速进行部署。拉取镜像创建挂载目录启动容器访问IP:3001初始账号用户名为 root，密码为 123456。
使用 ollama 部署最新的Llama 3 70B本地模型
热门推荐
yu101994的博客
04-22 1万+
ollama 大部分代码基于 go 开发，大家可以多多探索。进入 ollama 下载页面，选择自己的系统版本的下载并安装即可。直接使用 run 命令 + 模型名字就可以运行模型。被其他的开发程序占用，可以根据自己的实际情况调整端口。，用于搜索已收录的模型库。win10输入path或者环境变量。
LLM - 使用 HuggingFace + Ollama 部署最新大模型 (GGUF 格式 与 Llama 3.1)
Mystra
08-08 2277
Ollama 是用于构建和运行大型语言模型(LLM)应用的开源工具，提供了一个简洁易用的命令行界面和服务器，让用户能够轻松下载、运行和管理各种开源 LLM，默认支持大量模型，如果是 HuggingFace 最新模型，或者自制模型，支持转换成 GGUF 格式，再进行调用。
本地运行 Llama 3.1 模型：综合指南,使用 Llama 3.1 Ollama 和 LM Studio构建应用程序(教程含程序)
iCloudEnd的博客
07-25 771
Llama 3.1 是 Meta 大型语言模型系列的最新版本，它已席卷 AI 界。凭借其出色的性能和开源特性，许多人都渴望在本地机器上利用其强大功能。本指南将引导您使用 Ollama 和 LM Studio 等流行工具在本地运行 Llama 3.1 模型的过程，并与其他领先的 AI 模型进行比较。
大模型部署-使用OpenVINO本地化部署LLaMa3-附项目源码+流程教程-优质项目实战.zip
06-07
在本地部署LLaMa3时，首先需要下载和安装OpenVINO SDK，然后利用Model Optimizer将LLaMa3模型转换为IR。这通常涉及以下步骤： 1. 准备模型：确保拥有LLaMa3模型的权重文件和配置文件。 2. 安装和配置OpenVINO：根据...
苹果大模型系列之 如何在本地运行 Llama 3.1（Mac M1/M2/M3）
iCloudEnd的博客
07-29 213
准备好骑上 Llama 3.1 列车了吗？轻而易举！最棒的是，运行 llama3.1 非常简单。
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 862
AI菜鸟向前飞 — LLM简介
实测Meta最新开源模型——LLaMA 3.1，能力惊人！
lhx17673139267的博客
07-30 1650
通过以上测试可以看出，LLaMA 3.1:8B虽然是参数最小的版本，但已经展现出相当强大的能力。对于有高性能需求的用户，70B和405B版本将会提供更强的计算能力和更准确的回答。在未来，随着LLaMA系列模型的不断优化，我们可以期待它在更多领域中的应用和表现。希望这篇文章能够帮助大家了解LLaMA 3.1的强大之处。
使用Ollama本地部署 Llama3大模型！最简单的方法，无需GPU也能使用
撸啊撸的博客
05-12 3666
开源大模型领域当前最强的无疑是 LLaMA 3！Meta 这次不仅免费公布了两个性能强悍的大模型（8B 和 70B），还计划发布一个可以与 GPT-4 对打的 400B 模型。今天，我们将介绍一种简单易懂的本地部署方法，非常适合新手！如果想深度使用Llama3，还是准备一个好的GPU环境来测试，CPU环境下还是很吃力。
llama3.1 本地化部署实践
書
07-28 747
借助实现模型的本地部署使用，本地使用的操作系统为ubuntu 22.04。
人工智能——使用Ollama部署本地大模型
weixin_72959097的博客
08-21 1133
在如今的 AI 应用领域中，大模型（LLM，Large Language Models）已然成为推动前沿技术发展的关键力量。其中的 Top1 当属 OpenAI 的 GPT 系列无疑，它通过大规模的数据训练、可以执行高质量的语言处理任务，如聊天问答、文本生成、翻译等。去年，ChatGPT 引入了定制个人知识库的支持，该功能采用了检索增强（RAG，Retrieval-Augmented Generation）技术，它使得模型能够在生成回答前、先从知识库中检索相关信息，显著提高了输出的准确性和信息量。
OLLaMA搭建本地大模型
Aweii__的博客
07-26 1590
根据 ChatGPT 的使用经验，大家都知道系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词，跟Modelfile里面的SYSTEM下面的定义差不多一个意思。
ollama continue llama3.1
07-27
"Ollema continue llama3.1" 这个表述看起来像是一个混合的语言或者是某种特定上下文的术语，并非标准的编程术语。它似乎包含了一个游戏、命令或者程序的一部分，但是没有足够的背景信息让我给出确切的解释。 如果这是一个编程相关的上下文，可能是某种语言或框架中的指令集，比如在某些游戏中可能有类似的操作序列。通常，"continue"是一个编程关键字，用于跳过当前循环的剩余部分并继续下一轮迭代；"llama"则更像是一个名字或玩笑代称。 然而，如果你能提供更多背景信息或者详细说明这个短语的出处，我可以提供更准确的帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值