离线运行Llama3：本地部署终极指南

最新推荐文章于 2024-07-09 10:58:08 发布
最新推荐文章于 2024-07-09 10:58:08 发布
阅读量1.1k 收藏 32
点赞数 11
文章标签： 大数据 AI大模型 AI 语言模型 langchain
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63171455/article/details/140144409
版权

4月18日，Meta在官方博客官宣了Llama3，标志着人工智能领域迈向了一个重要的飞跃。经过笔者的个人体验，Llama3 8B效果已经超越GPT-3.5，最为重要的是，Llama3是开源的，我们可以自己部署！

本文和大家分享一下如何在个人电脑上部署Llama3，拥有你自己的GPT-3.5+!

很多读者担心本地部署时个人电脑的硬件配置不够，实际上这种担心是多余的，笔者使用的是MacBook M2 Pro (2023款), 主要硬件配置如下：

  • 10核CPU
  • 16G内存

部署步骤大致如下：

  • 安装Ollama
  • 下载Llama3
  • 安装Node.js
  • 部署WebUI

安装Ollama

Ollama可以简单理解为客户端，实现和大模型的交互，读者可以前往[ollama.com/download，根据…]

WX20240420-085342@2x

下载之后打开，直接点击Next以及Install安装ollama到命令行。安装完成后界面上会提示ollama run llama2，不需要执行这条命令，因为我们要安装llama3。

image.png

下载Llama3

打开新的终端/命令行窗口，执行以下命令：

ollama run llama3

程序会自动下载Llama3的模型文件，默认是8B，也就80亿参数版本，个人电脑完全可以运行。

成功下载模型后会进入交互界面，我们可以直接在终端进行提问，比如笔者问的Who are you?，Llama3几乎是秒回答。

➜  Projects ollama run llama3
>>> who are you?
I'm LLaMA, a large language model trained by a team of researcher at Meta 
AI. I'm here to chat with you and answer any questions you may have.

I've been trained on a massive dataset of text from the internet and can 
generate human-like responses to a wide range of topics and questions. My 
training data includes but is not limited to:

* Web pages
* Books
* Articles
* Research papers
* Conversations

I'm constantly learning and improving my responses based on the 
conversations I have with users like you.

So, what's on your mind? Do you have a question or topic you'd like to 
discuss?

安装Node.js

支持Ollama的WebUI非常多，笔者体验过热度第一的那个WebUI

image-20240420090338877

设置国内NPM镜像

官方的NPM源国内访问有点慢，笔者推荐国内用户使用腾讯NPM源（[mirrors.cloud.tencent.com/npm/），之前笔者使…]

打开终端执行以下命令设置NPM使用腾讯源：

npm config set registry http://mirrors.cloud.tencent.com/npm/

部署WebUI

打开终端，执行以下命令部署WebUI：

git clone https://github.com/ollama-webui/ollama-webui-lite.git
cd ollama-webui-lite
npm install
npm run dev

提示如下，WebUI已经在本地3000端口进行监听：

> ollama-webui-lite@0.0.1 dev
> vite dev --host --port 3000

  VITE v4.5.2  ready in 765 ms

  ➜  Local:   http://localhost:3000/

打开浏览器访问[http://localhost:3000，可以看到如下图所示界面。默认情况下是没有选择模型的，需要点击截图所示箭头处选择模型。]
image-20240420091143684

笔者给模型提了一个编写一个Golang Echo Server的例子，大概5秒就开始打印结果，速度非常不错。

image-20240420091325732

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

大飞攻城狮
关注
  • 11
    点赞
  • 踩
  • 32
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LLaMA 2: Open Foundation and Fine-Tuned Chat Models 全文翻译
07-25
LLaMA 2: Open Foundation and Fine-Tuned Chat Models 全文翻译 原文：https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/Llama 2 下载网址：...
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
09-23
本地部署开源大模型的完整教程 LangChain + Streamlit+ LLaMA ...本教程提供了一个完整的指南，指导开发人员如何在本地部署开源的大型语言模型，并使用LangChain、Streamlit和LLaMA等工具来创建交互式应用程序。
吴恩达：四个步骤，让大模型变得更好
youmaob的博客
05-18 436
本周，生成式 AI 的竞争达到了新的高潮。前有 OpenAI 抢先发布 GPT-4o，后有谷歌在 I/O 开发者大会上发布一系列生成式人工智能模型与产品。自 2022 年 11 月 OpenAI 推出 ChatGPT，至今已有 18 个月。学界、业界为了提升生成式 AI 模型的能力，做出了诸多努力。今天，著名人工智能学者、斯坦福大学教授吴恩达高度总结了提升生成式 AI 模型能力的方式，主要包括：1）提升模型的推理能力；2）扩展上下文窗口，并撰写一篇博客阐述了一套通用且高效的 prompt 策略。
大模型部署-使用OpenVINO本地化部署LLaMa3-附项目源码+流程教程-优质项目实战.zip
06-07
大模型部署_使用OpenVINO本地化部署LLaMa3_附项目源码+流程教程_优质项目实战
笔记本电脑安装属于自己的Llama 3 8B大模型和对话客户端
2401_84204413的博客
06-15 1445
现在我们的Llama 模型聊天机器人已准备就绪，我们想问什么就可以问什么，尽情享受吧。当然，我们废了大半天劲，如果只是和模型简单的聊聊天，那就有点可惜了，或者说如果要人工输入，那我们本地部署的意义就不大。假设能够通过程序的方式，自动调用本地部署的Llama 模型是不是可以提供我们工作效率；Llama 模型自然语言生成：Llama 3 能够生成连贯、高质量的文本，包括文章、故事、诗歌等创意写作，以及邮件、报告等实用文体。对话系统。
如何将LLaMA 3部署到生产中以及硬件要求?
weixin_58753619的博客
06-27 679
Meta 推出了 Llama 3 开源 AI 模型的初始版本，可用于文本创建、编程或聊天机器人。此外，Meta 还宣布计划将 LLaMA 3 纳入其主要社交媒体应用程序。此举旨在与其他AI助手竞争，例如OpenAI的ChatGPT、微软的Copilot和谷歌的Gemini。与 Llama 2 类似，Llama 3 是一个可免费访问的具有开放权重的大型语言模型，由一家领先的人工智能公司提供（尽管它不符合传统意义上的“开源”）。
在LobeChat中私有化部署Llama3
BBM的博客
04-22 3118
通过这几天的试用，Llama3确实相当优秀，这里推荐给大家Llama3的私有部署，然后使用LobeChat搭建自己的知识库问答系统。大家可能以为部署Llama3需要什么样的硬件，先介绍硬件的配置，我使用Llama3 70b的硬件列表：
『保姆级』大模型教程来了（从入门到实战）
2301_76168381的博客
04-01 2746
在大模型的构建之下，AI自动化交互，将会决定世界的未来，谁的大模型更强大，将决定在遥远的未来的话语权，同时，大模型会成为AI基础设施。AI大模型，正在构建的颠覆力，为了更好的入局AI大模型，🔻 针对ChatGLM大模型，介绍ChatGLM模型微调。🔻 大模型的定义和特点，如预训练、微调、指令学习等。🔻 05 精读大模型-3论文、Instruct论文。🔻 04 GLM-130B训练营——论文泛读。🔻 05 GLM-130B训练营——论文精读。🔻 08 Alpaca训练营——论文精读。
本地部署 Llama3 – 8B/70B 大模型！
最新发布
2401_84494441的博客
07-09 1010
本地部署大模型可带来飞一般的体验，可降低延迟可微调属于私人的大模型数据安全得以保证。
Llama大模型运行的消费级硬件要求【CPU|GPU|RAM|SSD】
热门推荐
新缸中之脑
06-28 1万+
大型语言模型 (LLM) 是强大的工具，可以为各种任务和领域生成自然语言文本。最先进的LLM之一是 LLaMA（大型语言模型 Meta AI），这是由 Facebook 的研究部门 Meta AI 开发的一个包含 650 亿个参数的模型要在家运行 LLaMA 模型，你需要一台配备强大 GPU 的计算机，能够处理推理所需的大量数据和计算。在本文中，我们将讨论本地运行 LLaMA 的一些硬件要求。推荐：用快速搭建可编程3D场景。在消费类硬件上运行 LLaMA 模型有多种不同的方法。
Linux内网离线安装Ollama
杉叔的专栏
04-10 8193
在线安装地址https://ollama.com/download选择服务器系统，按照步骤完成安装。下载地址 https://github.com/ollama/ollama/releases/总共需要修改两个点，第一：Ollama下载地址；第二：Ollama安装包存放目录。我下载的是Ollama的v0.1.31版本，后面均以此版本为例说明。修改后的install.sh文件，v0.1.31版本。第二处修改，修改ollama安装目录。第一处修改，注释下载链接。
具有惊人 480B 参数的开源企业级大型语言模型
2401_84587944的博客
05-04 918
Snowflake AI Research 推出了 Arctic，这是一款专为企业 AI 应用程序设计的尖端开源大型语言模型 （LLM），为成本效益和可访问性设定了新标准。该模型利用独特的 Dense-MoE 混合转换器架构来有效地处理 SQL 生成、编码和遵循指令。凭借其在较低计算预算下运行的能力，Arctic 为希望集成高级 AI 的企业提供了高性能解决方案，而无需通常涉及大量成本。
Llama3模型+Windows本地运行软件（下载地址）
05-20
今天还是用可视化的GUI软件来运行Llama3，是个人都会的那种软件。 这里说的软件就是，这是一款基于llama.cpp，可以运行几乎所有主流大语言模型的应用程序。 由于软件主要是使用CPU来运行，所以基本上所有电脑都...
大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战.zip
03-26
本项目实战旨在教你如何在本地计算机上部署大型语言模型LLaMA（Large Language Models like MAth）进行推理工作，覆盖Windows、Linux和Mac操作系统。大模型部署是一项技术性极强的任务，涉及到高性能计算、资源管理...
在你的电脑上运行最强开源AI大模型Llama3，史上最全方法详解
m0_59235945的博客
05-20 1934
Meta 推出其最新一代开源大型语言模型 Llama 3，它再一次成为开源模型界的领头羊驼。我前面的文章已经介绍过Llama 3 了，今天主要讲怎么在家用电脑上部署Llama 3 ，不需要联网来运行自己的私有AI模型。Llama 3目前提供 8B 和 70B 两种大小参数，经过预训练或微调的多种配置模型。预训练是基础模型，方便开发者后续开发自己的微调模型。我们本地部署主要下载8B参数的微调模型，只要8G以上显卡就可以了，70B参数一般需要专业显卡，例如A100，40G显卡。
离线部署ollam以及大模型
zuidenaoshi的专栏
04-29 1386
到这里是参考官方文档: https://github.com/ollama/ollama/blob/main/docs/linux.md .有网机器上下载ollama: wget https://ollama.com/download/ollama-linux-amd64。创建用户: sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama。大模型存储在: /usr/share/ollama/.ollama。
第二十四篇-Ollama-在线安装
木卫二号的专栏
04-27 816
ollama-在线安装，运行速度相当不错。
大模型~合集14
whaosoft143ai的博客
05-25 382
为了解决上述问题，作者提出了一种基于注意力的高效模块，它能够利用 GPU 并行性，同时又能高效更新。首先，作者在第 3.1 节中表明，注意力可被视为一种 RNN，具有高效计算多对一 RNN（图 1a）输出的特殊能力。利用注意力的 RNN 形式，作者进一步说明，基于注意力的流行模型，如 Transformer（图 1b）和 Perceiver（图 1c），可以被视为 RNN。whaosoft aiot http://143ai.com
llama3 本地部署
05-06
Llama3 是一款流行的基于Java的开源数据处理工具，支持处理结构化和非结构化数据。为了保证数据隐私和安全性，您可以选择在本地部署 Llama3。 下面是 Llama3 本地部署的步骤： 1. 下载并安装 Java 运行时环境（JRE）和 Apache Maven。 2. 下载 Llama3 的源代码，并使用 Maven 构建项目。 3. 配置 Llama3 的运行环境，包括数据库和其他必要的依赖项。 4. 启动 Llama3，并访问 Llama3 的 Web 界面，输入您的用户名和密码以登录系统。 5. 在 Llama3 中创建数据源和数据模型，然后运行您的数据处理任务。 如果您需要更详细的指导，请查看 Llama3 的官方文档或社区论坛。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值