使用Ollama本地部署Llama 3.1大模型

最新推荐文章于 2024-08-26 15:10:57 发布
最新推荐文章于 2024-08-26 15:10:57 发布
阅读量1.2k 收藏 17
点赞数 29
文章标签： llama 人工智能 chatgpt 数据库 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xzp740813/article/details/141072420
版权

Llama 3.1 介绍

2024 年 7 月 24 日，Meta 宣布推出迄今为止最强大的开源模型——Llama 3.1 405B，Llama 3.1 405B 支持上下文长度为 128K Tokens， 增加了对八种语言的支持，号称第一个在常识、可操纵性、数学、工具使用和多语言翻译方面与顶级人工智能模型相媲美的模型。

当然 405B 新一代大模型所需要的算力成本也是巨大的，一般的中小型企业和个人需要慎重评估一下成本与产出是否值得应用。好在作为新版本发布的一部分，官方也同时推出全新升级的 Llama 3.1 70B 和 8B 模型版本。

我们今天就在百度智能云 GPU 服务器上来部署体验最新 Llama3.1 8B 模型。

安装环境

硬件环境

  • • 百度智能云 GPU 服务器。

本文以百度智能云 GPU 服务器为例进行安装部署，购买计算型 GN5 服务器， 配置 16 核 CPU，64GB 内存，Nvidia Tesla A10 单卡 24G 显存，搭配 100GB SSD 数据盘， 安装 Windows 2022 Server 系统。

  • • 如果您使用自己的环境部署，建议 NVIDIA GPU，民用卡 30、40 系列，商用卡 T4、V100、A10 等系列，至少 8G 以上显存。服务器配置建议最低配置为 8 核 32 G 100G 磁盘，5M 带宽。

安装步骤

购买服务器

    1. 登录 控制台 ，按需购买 云服务器 ，比如选择配置为 16 核 64G 带 1 张 A10 GPU 卡的实例。

    1. 安装操作系统
  • • 选择 Windows 公共镜像，支持 Windows2019 及以上版本，本教程我们选择 Windows2022 。

  • • 通过 VNC 登录实例，安装 GPU 驱动程序。

通过浏览器进入 NVIDIA官方驱动 下载地址，选择相应驱动下载进行安装，本教程我们选择 538.78， CUDA 版本为 12.2。

安装 Ollama 客户端

  • • 如果您有科学上网环境，最好从 官方下载地址 下载，保证最新版本。如果没有，您可以从 临时下载地址 下载。

  • • 安装完毕会自动运行，右下角可以看到这个图标：

  • • 打开 windows powershell 或 CMD 命令行终端，输入 ollama 命令，回车，即可显示 ollama 命令的使用帮助

下载模型文件

加载模型
  • • 由于 A10 GPU 只有 24G 显存，因此我们安装 8b 模型版本，如果您的显存 80G 以上，那么推荐安装 70b 模型版本。

在命令行中输入如下命令，即可在线拉取模型。

ollama run llama3.1:8b

如果您的显卡非常好，其他两个模型的拉取命令如下 ：

ollama run llama3.1:70b    ollama run llama3.1:405b

  • • 出现success提示时，说明模型加载完成，可以愉快地跟大模型交流了。

更多模型支持

当然 ollama 不仅支持运行 llama3.1，实际上他支持更多的开源模型，详细教程见官方文档： 模型库

手动导入模型

如果您的网络情况不太好，在线下载模型进度缓存，官方也支持从其他渠道下载好的模型导入。

详细参考 导入模型 ，这里不做赘述。

模型应用

直接在控制台中对话

模型加载完成之后，出现如下提示，就可以直接跟大模型对话了。

配置远程访问

Ollama 启动的默认地址为 [http://127.0.0.1:11434](http://localhost:11434) ，我们通过设置环境变量 OLLAMA_HOST来修改默认监听地址和端口，这往往对我们需要远程调用API时非常有用。同时，如果要在open-webui等UI面板中调用 API ，需要为 Ollama 进行跨域配置后方可正常使用。

需要了解如下三个变量的用途

变量名值说明
OLLAMA_HOST0.0.0.0:8888用于配置监听的 IP 和端口
OLLAMA_ORIGINS*支持跨域访问，也可以指定特定域名，如：“baidu.com,hello.com”
OLLAMA_MODELSC:\Users\Administrator\.ollama模型文件较大，建议调整到数据盘目录下。

windows 修改环境变量如下：

    1. 停止 ollama 服务

右下角这个图标，右键选择退出 。

    1. 设置环境变量

右键"此电脑 > 属性 > 高级系统设置 > 环境变量 > Administrator 的用户变量 > 新建用户变量"。

设置环境变量，表示监听在0.0.0.0:8888上，其他变量设置依次添加。

  1. 1. 设置完毕环境变量，打开新的 powershell 或者 CMD 命令行终端， 重新启动 ollama 服务并加载模型。
ollama run llama3.1:8b

API 调用

开启远程连接之后，您就可以远程调用 API 了，示例如下：

curl http://106.12.151.249:8888/api/generate -d '{     "model": "llama3.1:8b",     "prompt": "你好啊"   }'

流式输出：

Web UI

上面的对话测试，我们都是通过命令行来进行交互的，当然肯定有可视化的 UI 界面，而且很多，这里介绍两个。

Open WebUI

Github: https://github.com/open-webui/open-webui

官方文档：https://docs.openwebui.com/

    1. 安装

官方给出了两种安装方式

  • • 使用 docker 安装。这个是官方推荐的安装方式，方便快捷，但不幸的是，百度智能云 Windows Server 不支持二次虚拟化，Windows 上需要虚拟 Linux 环境才能安装 Docker。如果您使用的是 Linux 环境，可以通过 Docker 安装，本教程不使用这种。

  • • 使用 pip 安装。

有两个注意点：

1） 您的 Python 版本不能为 Python3.12，因为截至本教程编写时，open-webui 还不支持 Python3.12，本教程使用 python3.11 环境，如您 windows 系统中已经有安装 Python3.12，推荐使用 Anaconda 来管理多个 Python 运行环境。

2） 运行依赖 pytorch，如您的环境没有安装，执行如下命令安装依赖：

pip install torch torchvision torchaudio --index-url    https://download.pytorch.org/whl/cu121

详细安装过程不做赘述，参考 官方安装文档

    1. 使用
  • • 打开页面，注册登录，进入设置，将ollama服务器中的模型加载进来。

  • • 加载成功后，回到对话界面，可以开始聊天了。

  • • 问个问题，响应速度还是不错的。

LobeChat

Github: https://github.com/lobehub/lobe-chat

官方文档：https://lobehub.com/zh/docs/self-hosting/start

    1. 安装

详细安装过程不做赘述，参考 官方安装文档 ，或者您也可以参考我们的另一篇文章：零成本搭建一个多模态大模型对话平台

    1. 使用
  • • 在设置里，选择语言模型，找到Ollama，开启它，并做连通性检查 。

  • • 检查通过，获取模型列表

  • • 回到聊天窗口，选择llama3.1:8b模型

  • • 开始愉快的聊天吧。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
在这里插入图片描述
在这里插入图片描述

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

大模型官方资料
关注
【llama3.1】ollama的使用--本地部署使用llama3.1模型
weixin_46481662的博客
07-24 649
安装完成ollama后，在命令行窗口输入上图表示 Ollama 正在下载llama3任务所需的资源文件，并显示了当前的下载进度、速度和预计剩余时间。这是 Ollama 在准备运行llama3任务之前所需的步骤。
LLM - 使用 HuggingFace + Ollama 部署最新大模型 (GGUF 格式 与 Llama 3.1)
Mystra
08-08 2240
Ollama 是用于构建和运行大型语言模型(LLM)应用的开源工具，提供了一个简洁易用的命令行界面和服务器，让用户能够轻松下载、运行和管理各种开源 LLM，默认支持大量模型，如果是 HuggingFace 最新模型，或者自制模型，支持转换成 GGUF 格式，再进行调用。
llama3.1微调部署实例(从模型下载开始)
最新发布
sandichesadan的博客
08-26 1292
本文对 2024 年 7 月 23 日发布的 llama3.1 的微调部署过程进行说明。
从零开始在本地部署大模型：基于Llama 3.1
iShare_Carlos的博客
07-28 3676
Llama 3.1 是 Meta 公司于 2024 年 7 月 23 日发布的最新开源大语言模型。这一版本在先前 Llama 3 的基础上进行了增强，支持多模态处理，并具有多种参数规模，包括 8B、70B 和 405B 参数。Llama 3.1 经过大规模文本数据的预训练，并结合了超过 1000 万个人工标注的示例，显著提高了模型的性能和适应性。Llama 3.1 尤其在多语言对话和编码能力方面表现出色，是目前 Meta 最先进的大语言模型之一。
本地部署大模型？Ollama 部署和实战，看这篇就够了
热门推荐
u010522887的专栏
07-24 1万+
Ollama 也许是当前最便捷的大模型部署工具，配合Open WebUI，人人都可以拥有大模型自由。
计算机视觉：dlib用于物体追踪
AAI666666的博客
01-08 541
PyTorch，由于dlib对于人脸特征具有很好的支持，有很多训练好的人脸特征提取模型供开发者使用，所以dlib很适合做人脸项目开发。
Ollama 本地部署大模型 | Windows本地部署 Llama3.1 大模型
静愚AGI
07-23 2375
Ollama是一个开源的大型语言模型部署工具，它可以帮助用户快速在本地部署运行大模型。类似于Docker一样，仅仅用几行命令就可以运行一个大模型。”，之后重启ollama，我把下载模型的目录设置在了"D:\ollama"目录下。由于Ollama在下载模型时，会自动下载到C盘，因此需要设置下载目录。Ollama有一套用于运行和管理模型的 REST API。这样就基本完成了Ollama在本地部署大模型。在安装模型之前需要到模型仓库中获取模型信息。剩下的就是通过三方工具开发自己的大模型应用。
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 1562
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
llama3.1 本地化部署实践
書
07-28 734
借助实现模型的本地部署使用，本地使用的操作系统为ubuntu 22.04。
本地运行 Llama 3.1 模型：综合指南,使用 Llama 3.1 Ollama 和 LM Studio构建应用程序(教程含程序)
iCloudEnd的博客
07-25 767
Llama 3.1 是 Meta 大型语言模型系列的最新版本，它已席卷 AI 界。凭借其出色的性能和开源特性，许多人都渴望在本地机器上利用其强大功能。本指南将引导您使用 Ollama 和 LM Studio 等流行工具在本地运行 Llama 3.1 模型的过程，并与其他领先的 AI 模型进行比较。
苹果大模型系列之 如何在本地运行 Llama 3.1（Mac M1/M2/M3）
iCloudEnd的博客
07-29 210
准备好骑上 Llama 3.1 列车了吗？轻而易举！最棒的是，运行 llama3.1 非常简单。
大模型部署-使用OpenVINO本地化部署LLaMa3-附项目源码+流程教程-优质项目实战.zip
06-07
在本地部署LLaMa3时，首先需要下载和安装OpenVINO SDK，然后利用Model Optimizer将LLaMa3模型转换为IR。这通常涉及以下步骤： 1. 准备模型：确保拥有LLaMa3模型的权重文件和配置文件。 2. 安装和配置OpenVINO：根据...
最近，大模型岗位爆了。。。
2301_82275412的博客
04-29 893
重磅消息，国资委打响了国内AI第一枪！这意味着传统行业又迎来了一次大洗牌，现在国内头部人工智能公司已经开始用AI数字人助力各行各业，。除此之外，知名大厂也都在布局AI市场。懂的程序员年薪已经翻到风口之下，与其焦虑被行业淘汰，不如先人一步掌握 AI 大模型技术。为帮助大家提升竞争力，为了帮助普通程序员享受时代红利，掌控AI大模型技术，成为超级个体，给大家带来了AI大模型全套资料。
教你轻松本地电脑部署最新Llama3.1，搭建免费本地大模型助手
andy_68147772的博客
07-25 953
Facebook最新的Llama3.1大模型发布了。今天手把手教大家如何在本地电脑上部署Llama3.1大模型，个人电脑也可以轻松运行，打造一个属于自己的本地大模型助手。
Win10（CPU）+ Anaconda3 + python3.9安装pytorch
AAI666666的博客
01-14 1404
Win10（CPU）+ Anaconda3 + python3.9安装pytorch
AI机器人本地免费部署（部署Llama 3.1详细教程）
python1234_的博客
07-27 2206
昨日，Meta公司发布了人工智能模型——Llama 3.1。那么Llama 3.1 405B的效果怎么样？我们来对比一张图，横向对比一下GPT-4。可以看出，Llama 3.1 405B在各类任务中的表现可以与GPT-4等顶级的模型相差无几。那么，我们怎样才能用到这款强大的Llama 3.1 405B模型呢？最直接的方式是通过Meta.ai平台，但目前这一途径仅对美丽国的用户开放。那有无适合平民用的大模型嘞。接下来我们将在本地部署Llama 3.1 8B（环境所迫）1.环境准备。
零成本高效部署：Llama 3本地使用全攻略
程序员鑫港的博客
05-09 5980
Meta公司的Llama 3大模型引领AI新篇章 各位朋友，我是袋鼠帝。近日，真正的“OpenAI”——Meta公司，对“Close AI”进行了有力回应，推出了其开源大模型系列的最新力作——更是青出于蓝，不仅在技术层面实现了对的重大突破，还在各种评估测试中展现出令人瞩目的表现。这标志着AI技术又迈出了坚实的一步。目前，推出了两个版本，分别是8B和70B。在与同等级别的Gemma和Mistral开源模型较量中，8B版本展现出了显著的优势。
手把手教你轻松本地部署Llama3和私有知识库
2301_76161259的博客
06-17 1350
Ollama 是一个开源平台，用于管理和运行各种大型语言模型 (LLM)，例如 Llama3、gemma 和 qwen。它提供命令行界面 (CLI) 用于安装、模型管理和交互。您可以使用 Ollama 根据您的需求下载、加载和运行不同的 LLM 模型。要求：win10以上操作系统安装包下载地址：https://ollama.com/download/windows下载对应系统安装包下载完成后，双击下载的安装程序点击Install进行安装首次运行时会先下载模型，下载完成后即可提问。
ollama continue llama3.1
07-27
"Ollema continue llama3.1" 这个表述看起来像是一个混合的语言或者是某种特定上下文的术语，并非标准的编程术语。它似乎包含了一个游戏、命令或者程序的一部分，但是没有足够的背景信息让我给出确切的解释。 如果这是一个编程相关的上下文，可能是某种语言或框架中的指令集，比如在某些游戏中可能有类似的操作序列。通常，"continue"是一个编程关键字，用于跳过当前循环的剩余部分并继续下一轮迭代；"llama"则更像是一个名字或玩笑代称。 然而，如果你能提供更多背景信息或者详细说明这个短语的出处，我可以提供更准确的帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值