llama3.1 本地化部署实践

wwwasw

已于 2024-07-28 22:53:20 修改

阅读量6.1k

点赞数 3

文章标签：人工智能 llama3.1

于 2024-07-28 17:51:45 首次发布

本文链接：https://blog.csdn.net/wwwasw/article/details/140753442

版权

借助ollama工具实现模型的本地部署使用，本地使用的操作系统为ubuntu 22.04

ollama安装

ollama地址：https://github.com/ollama/ollama

这里选择手动安装方式

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama

ollama serve启动

ollama serve

启动后日志输出如下，输出了服务默认的端口，及检测导的GPU等

模型下载使用

llama3.1模型：

https://ollama.com/library/llama3.1:70b

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

wwwasw

关注关注

3
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【大数据】修复 Linux 错误 - 内存不足

wjianwei666的专栏

12-28

1673

内存不足是 Linux 系统常见的问题之一，但是您可以通过检查内存使用情况、查找内存泄漏、优化内存使用和升级硬件来解决该问题。

本地运行 Llama 3.1 模型：综合指南,使用 Llama 3.1 Ollama 和 LM Studio构建应用程序(教程含程序)

iCloudEnd的博客

07-25

1669

Llama 3.1 是 Meta 大型语言模型系列的最新版本，它已席卷 AI 界。凭借其出色的性能和开源特性，许多人都渴望在本地机器上利用其强大功能。本指南将引导您使用 Ollama 和 LM Studio 等流行工具在本地运行 Llama 3.1 模型的过程，并与其他领先的 AI 模型进行比较。

参与评论您还未登录，请先登录后发表或查看评论

华纳云：修复WordPress内存耗尽错误的常用方法有哪些？

YOKEhn的博客

09-09

853

修复WordPress内存耗尽错误的方法有多种，可以从调整内存限制、优化数据库、禁用插件、使用缓存等多个方面入手。如果问题消失，则逐个启用插件和主题，找到导致内存耗尽的插件或主题，然后考虑替换或联系开发者解决问题。如果你使用的是托管服务提供商的控制面板(如cPanel、Plesk等)，可以在控制面板中调整PHP的内存限制。如果你的WordPress网站流量很大且内容丰富，可能需要升级主机服务到更高性能的方案，如VPS或专用服务器，以获取更多的内存和资源。将256M替换为所需的内存值。

DeepSeek R1 本地部署指南 (5) -Error: model requires more system memory (XX GiB) than is available (XX GiB)

热门推荐

yghr3a的博客

07-14

2万+

本人在刚好学习了docker的基本使用，又发现ollama这个在本地部署ai的项目正好可以用docker来部署。但我第一次部署本地ai时却收到了这个报错信息，我的电脑内存是32G的，却说我的系统只有1.4G，所以一开始我没有怀疑是内存的问题。在网上找了很多文章都没有提到这个问题的原因是什么，最后问了AI才发现还是内存问题，只不过分配给我的容器的内存真的只有1.4G。

Ollama 本地部署大模型 | Windows本地部署 Llama3.1 大模型

静愚AGI

07-23

2713

Ollama是一个开源的大型语言模型部署工具，它可以帮助用户快速在本地部署运行大模型。类似于Docker一样，仅仅用几行命令就可以运行一个大模型。”，之后重启ollama，我把下载模型的目录设置在了"D:\ollama"目录下。由于Ollama在下载模型时，会自动下载到C盘，因此需要设置下载目录。Ollama有一套用于运行和管理模型的 REST API。这样就基本完成了Ollama在本地部署大模型。在安装模型之前需要到模型仓库中获取模型信息。剩下的就是通过三方工具开发自己的大模型应用。

AI大模型企业应用实战：Prompt让LLM理解知识

2401_84204413的博客

06-25

2564

使用Ollama本地部署Llama 3.1大模型

xzp740813的博客

08-09

2289

Llama 3.1 介绍2024 年 7 月 24 日，Meta 宣布推出迄今为止最强大的开源模型——Llama 3.1 405B，Llama 3.1 405B 支持上下文长度为 128K Tokens，增加了对八种语言的支持，号称第一个在常识、可操纵性、数学、工具使用和多语言翻译方面与顶级人工智能模型相媲美的模型。当然 405B 新一代大模型所需要的算力成本也是巨大的，一般的中小型企业和个人需要慎重评估一下成本与产出是否值得应用。

教你轻松本地电脑部署最新Llama3.1，搭建免费本地大模型助手

andy_68147772的博客

07-25

1175

Win10（CPU）+ Anaconda3 + python3.9安装pytorch

AAI666666的博客

01-14

1882

Win10（CPU）+ Anaconda3 + python3.9安装pytorch

LLAMA3.1 8B 本地部署并配合Obsidian建立本地AI知识管理系统

杜衡老师的自留地

07-30

887

目前，LLAMA3.1模型分为8B、70B、405B三个版本，其中70B和405B对于显存的要求均已超过了一般家用电脑的配置(或者换个说法，用一张4090也是带不起来的)，所以运行8B即可。LLAMA3.1 8B的性能约相当于ChatGPT3.5。经过我的测试4080、2080、intel ultra 9 185H（无独立显卡，其能力约相当于1060）都是可以带得动8B模型的，当然显卡越好，响应的速度越快。

掌握 Llama 3.1：轻松本地部署与远程使用的全攻略

lhx17673139267的博客

08-07

3126

Llama 3.1 是 Meta（Facebook 的母公司）发布的一系列最先进的开源大语言模型。Llama 3.1 系列包括 8B（80 亿参数）、70B（700 亿参数）和 405B（4050 亿参数）模型。其中，405B 是 Meta 迄今为止最大的模型。

AI机器人本地免费部署（部署Llama 3.1详细教程）

CSDN_430422的博客

02-15

609

部署在本地的大模型Llama 3.1 8B提供了更为详细的翻译。（4）小谢此次搭建的电脑环境如图，又无GPU，这配置只能搭个入门级别的大模型。可以看出，Llama 3.1 405B在各类任务中的表现可以与GPT-4等顶级的模型相差无几。（2）内存要求：8GB内存可运行7B模型，16GB可运行13B模型，32GB运行可33B模型。我们可以看到，我们部署到本地的界面是cmd界面下运行的，如果我们想可视化呢？我们先来看一下部署在本地的大模型Llama 3.1 8B，看来效果不错。

零成本高效部署：Llama 3本地使用全攻略

程序员鑫港的博客

05-09

6264

Meta公司的Llama 3大模型引领AI新篇章各位朋友，我是袋鼠帝。近日，真正的“OpenAI”——Meta公司，对“Close AI”进行了有力回应，推出了其开源大模型系列的最新力作——更是青出于蓝，不仅在技术层面实现了对的重大突破，还在各种评估测试中展现出令人瞩目的表现。这标志着AI技术又迈出了坚实的一步。目前，推出了两个版本，分别是8B和70B。在与同等级别的Gemma和Mistral开源模型较量中，8B版本展现出了显著的优势。

Llama 3.1 70B 聊天部署

weixin_52103117的博客

08-14

949

上一篇文章介绍了Llama 3.1 70B推理功能的使用，今天一看社区里那个项目又更新了聊天功能，试了一下比Transhformers推理好用的多。

从零开始在本地部署大模型：基于Llama 3.1

iShare_Carlos的博客

07-28

4430

Llama 3.1 是 Meta 公司于 2024 年 7 月 23 日发布的最新开源大语言模型。这一版本在先前 Llama 3 的基础上进行了增强，支持多模态处理，并具有多种参数规模，包括 8B、70B 和 405B 参数。Llama 3.1 经过大规模文本数据的预训练，并结合了超过 1000 万个人工标注的示例，显著提高了模型的性能和适应性。Llama 3.1 尤其在多语言对话和编码能力方面表现出色，是目前 Meta 最先进的大语言模型之一。

手把手教你轻松本地部署Llama3和私有知识库

2301_76161259的博客

06-17

3025

Ollama 是一个开源平台，用于管理和运行各种大型语言模型 (LLM)，例如 Llama3、gemma 和 qwen。它提供命令行界面 (CLI) 用于安装、模型管理和交互。您可以使用 Ollama 根据您的需求下载、加载和运行不同的 LLM 模型。要求：win10以上操作系统安装包下载地址：https://ollama.com/download/windows下载对应系统安装包下载完成后，双击下载的安装程序点击Install进行安装首次运行时会先下载模型，下载完成后即可提问。

ollam llama3.1本地部署

07-27

Ollam llama3.1是一个开源的知识图谱查询系统，用于构建和查询复杂的语义网络。本地部署是指将Ollam Llama应用安装并运行在您的服务器上，而非使用云服务。以下是部署Ollam Llama 3.1的一些基本步骤： 1. **下载安装包**：从Ollam Llama的官方网站或GitHub仓库下载最新版本的源码或预打包的安装包。 2. **准备环境**：确保你的服务器满足软件运行需求，比如Java SDK、数据库支持（如MySQL或PostgreSQL）、以及任何必要的依赖库。 3. **配置文件**：编辑配置文件，包括数据库连接信息、应用程序的路径等，这通常在`ollam.conf`或其他指定位置。 4. **数据初始化**：如果需要，导入初始的数据模型和知识图谱内容到数据库。 5. **启动服务**：通过命令行运行启动脚本或者jar文件，开始Ollam Llama的服务。 6. **访问验证**：确认服务成功启动并在网络上可通过指定端口访问。管理员权限下可以测试API或界面是否正常工作。