本地部署 Llama3 – 8B/70B 大模型！

于 2024-07-09 10:58:08 发布
阅读量1.7k 收藏 19
点赞数 22
文章标签： 人工智能 AI大模型 大模型 ai 前端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84494441/article/details/140288166
版权

Llama3，作为Meta公司新发布的大型语言模型，在人工智能领域引起了广泛的关注。特别是其8B（80亿参数）版本，在性能上已经超越了GPT-3.5，而且由于是开源的，用户可以在自己的电脑上进行部署。

本文和大家分享一下如何在个人电脑上部署Llama3，拥有你自己的GPT-3.5+!

很多读者担心本地部署时个人电脑的硬件配置不够，实际上这种担心是多余的，笔者使用的是游戏本，主要通过GPU跑大模型(建议8g起步，CPU也可以，不过比较慢)，硬件配置如下：

  • CPU i9-12900HX 16核24线程
  • GPU RTX4060-8G
  • RAM 32G

步骤大致如下：

  • 安装Ollama
  • 安装Docker Desktop
  • 下载WebUI
  • 下载Llama3并切换模型

一、安装Ollama

1.下载Ollama

Ollama，支持多平台！Windows / Mac /Linux 都可以运行
笔者这边是windows，读者们根据自己的环境，点击下载

image.png

2.安装

双击下载好的.exe文件，点击install

image.png 当电脑右下角弹窗出现下图，即已安装完成

image.png

二、Windows电脑打开WLS功能

  1. 点击windows搜索
  2. 输入启用或关闭windows功能
  3. 点击运行

image.png

  1. 弹出windows功能界面
  2. 勾选-适用于Linux的Windows子系统
  3. 点击确定
  4. 配置完成后需要立即重启电脑

image.png

三、安装Docker Desktop

1.下载

Docker Desktop

image.png

2.安装

双击下载好的.exe文件，点击ok，会自动安装docker环境

image.png

安装好后点击重启电脑

image.png

重启后会自动运行docker桌面版，点击Finish

image.png

看到如下界面代表已经安装完成，完成后会提示让我们注册docker账号，忽略就行

image.png

四、本地安装webUI

1. 打开windoiws搜索

输入cmd，运行 image.png

2. 选择运行方式

将代码复制，右键粘贴进终端，按回车，会自动下载并安装Webui，笔者这边选择GPU方式
image.png

a.在CPU下运行

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

b.在GPU下运行

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
3. 下载会比较慢

建议提前做好全局科学上网
如下图即已在下载安装中 image.png

4. 提示弹窗，点击允许

image.png

5. 如下图显示即已安装完成

image.png

6. 通过地址访问

安装完成通过本地地址在浏览器端：[http://127.0.0.1:3000]进行访问，看到如下图所示，即成功访问

image.png

五、使用

1. 注册

点击Sign up

image.png

名称随便填写，邮箱确保输入正确，输入好后点击创建，创建成功后会自动跳转至聊天对话页面

image.png

2. 切换中文

点击设置图标，找到语言，选择chinese，点击保存 image.png

image.png

3. 下载模型

点击设置，点击模型，点击可下载的模型

image.png

这边选择llama3

image.png

选择8b（8b，80 亿参数）
70b的模型建议4090显卡再上

image.png

将llama3:8b 复制出来，粘贴至下方如图所示，再点击下载（可同时下载多个模型）

image.png

当进度条为100%时，模型下载成功

image.png

4. 切换模型

点击主界面选择模型，选择llama3:8b，至此，模型切换成功

image.png

六、效果展示

输入
image.png

输出 image.png

七、总结

1. 优点
  1. 本地部署大模型可带来飞一般的体验，可降低延迟
  2. 可微调属于私人的大模型
  3. 数据安全得以保证
2. 缺点
  1. 对硬件要求比较高，是个头疼的问题
  2. 大规模模型的训练和推理过程耗能巨大，可能对环境造成一定影响

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

发菜君
关注
  • 22
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Llama3本地部署与高效微调入门-llama3 8b 微调
07-26
Llama3本地部署与高效微调入门_llama3 8b 微调
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
09-23
本地部署开源大模型的完整教程 LangChain + Streamlit+ LLaMA 本教程旨在指导开发人员如何在本地部署开源的大型语言模型（LLM），并使用LangChain、Streamlit和LLaMA等工具来创建交互式应用程序。以下是教程中涉及...
Llama3模型+Windows本地运行软件（下载地址）
05-20
​ Meta放出Llama3模型了，也应该是这段时间里的一个科技大新闻了。 Llama一直都是开源大语言模型的领头羊驼。 而Llama3又是所有羊驼中最新的领头羊。 可以简单地来看一下官方的对比数据。 下面是Llama3和谷歌Gemma以及法国的Mistral开源版的对比，以及Llama3 70B和gemini和Claude3闭源版的对比。 关于Llama3具体有多牛X，这样的内容我就不写了。网上新闻一大堆！ 我就说说怎么在我们自己的电脑上玩起来。 这才是我们该关心的核心问题。 Llama3的衍生模型非常多，整个生态也发展的特别好，所以支持的工具也特别多。根本无需自己去配置，写代码，加载模型和做模型交互。有一大堆现成的“基础设施”可以用！ 今天还是用可视化的GUI软件来运行Llama3，是个人都会的那种软件。 这里说的软件就是，这是一款基于llama.cpp，可以运行几乎所有主流大语言模型的应用程序。 由于软件主要是使用CPU来运行，所以基本上所有电脑都可以使用！！！ 如果关注我比较久，应该已经看到过相关的文章。已经有软件的
实测：本地跑llama3:70B需要什么配置
m0_59163425的博客
06-21 5295
前几天发布的开源大语言模型的能力通过测试结果的展示已经达到了一个全新的高度，甚至可以与Claude 3 Sonnet和Gemini 1.5 Pro等一众顶级模型相媲美，甚至在某些方面已经超过了去年发布的两款GPT-4。这一突破使得Llama 3一举成为当前顶流的大语言模型之一。展示一波LLM排名,这么帅还不要钱，就问你想不想要也许从此强大的模型不再只是厂商云端的特权，现在每个人都可以在本地部署Llama 3。无论是8B还是70B的版本，用户都可以选择最适合自己需求的版本进行部署。
ollama本地运行llama3:70b模型（Linux）
2401_83692861的博客
05-13 1134
【代码】ollama本地运行llama3:70b模型（Linux）
在个人电脑上运行Llama 3 70B大规模模型指南
ytt0523_com的博客
06-15 2105
随着人工智能和机器学习技术的迅猛发展，像Llama 3 70B这样的庞大语言模型已经成为了研究、开发和应用中的重要工具。这篇文章将详细介绍如何在个人电脑上运行Llama 3 70B大模型，并涵盖硬件要求、软件环境配置、安装步骤、运行示例和常见问题的解决方案。虽然运行这样一个大规模的模型在性能上有限制，但对于实验和学习非常有帮助。
最近，大模型岗位爆了。。。
2301_82275412的博客
04-29 606
重磅消息，国资委打响了国内AI第一枪！这意味着传统行业又迎来了一次大洗牌，现在国内头部人工智能公司已经开始用AI数字人助力各行各业，。除此之外，知名大厂也都在布局AI市场。懂的程序员年薪已经翻到风口之下，与其焦虑被行业淘汰，不如先人一步掌握 AI 大模型技术。为帮助大家提升竞争力，为了帮助普通程序员享受时代红利，掌控AI大模型技术，成为超级个体，给大家带来了AI大模型全套资料。
使用 ollama 部署最新的Llama 3 70B本地模型
热门推荐
yu101994的博客
04-22 1万+
ollama 大部分代码基于 go 开发，大家可以多多探索。进入 ollama 下载页面，选择自己的系统版本的下载并安装即可。直接使用 run 命令 + 模型名字就可以运行模型。被其他的开发程序占用，可以根据自己的实际情况调整端口。，用于搜索已收录的模型库。win10输入path或者环境变量。
教程：利用LLaMA_Factory微调llama3:8b大模型
m0_60683691的博客
05-06 2412
在存放模型空白处右键，点击git bash here，下载llama3模型至本地由于文件较大，因此该过程比较久，保持下载窗口打开，知道出现下一命令行表示下载完成。
Meta-Llama-3-8B 部署
m0_60657960的博客
06-15 481
【代码】Meta-Llama-3-8B 部署。
基于autodl与llama-factory部署llama3-8B开源大模型
最新发布
2201_75499442的博客
06-23 524
部署llama3过程
具有惊人 480B 参数的开源企业级大型语言模型
2401_84587944的博客
05-04 929
Snowflake AI Research 推出了 Arctic，这是一款专为企业 AI 应用程序设计的尖端开源大型语言模型 （LLM），为成本效益和可访问性设定了新标准。该模型利用独特的 Dense-MoE 混合转换器架构来有效地处理 SQL 生成、编码和遵循指令。凭借其在较低计算预算下运行的能力，Arctic 为希望集成高级 AI 的企业提供了高性能解决方案，而无需通常涉及大量成本。
大模型部署-使用OpenVINO本地化部署LLaMa3-附项目源码+流程教程-优质项目实战.zip
06-07
在当前的IT行业中，大模型部署是人工智能领域的一项关键技术，特别是在深度学习和自然语言处理（NLP）的应用中。OpenVINO（Open Visualization Inference and Neural Network Optimization）是由Intel开发的一个工具...
win11安装运行大模型ollama3
lixiaoqidecsdn的博客
05-18 750
win11安装运行ollama3
Open-webui GPU版本的安装（ollama，llama3本地部署，docker部署）
qq_44702930的博客
05-16 1795
同时安装Open WebUI和Ollama。
零成本高效部署：Llama 3本地使用全攻略
程序员鑫港的博客
05-09 5092
Meta公司的Llama 3大模型引领AI新篇章 各位朋友，我是袋鼠帝。近日，真正的“OpenAI”——Meta公司，对“Close AI”进行了有力回应，推出了其开源大模型系列的最新力作——更是青出于蓝，不仅在技术层面实现了对的重大突破，还在各种评估测试中展现出令人瞩目的表现。这标志着AI技术又迈出了坚实的一步。目前，推出了两个版本，分别是8B和70B。在与同等级别的Gemma和Mistral开源模型较量中，8B版本展现出了显著的优势。
『保姆级』大模型教程来了（从入门到实战）
2301_76168381的博客
04-01 3086
在大模型的构建之下，AI自动化交互，将会决定世界的未来，谁的大模型更强大，将决定在遥远的未来的话语权，同时，大模型会成为AI基础设施。AI大模型，正在构建的颠覆力，为了更好的入局AI大模型，🔻 针对ChatGLM大模型，介绍ChatGLM模型微调。🔻 大模型的定义和特点，如预训练、微调、指令学习等。🔻 05 精读大模型-3论文、Instruct论文。🔻 04 GLM-130B训练营——论文泛读。🔻 05 GLM-130B训练营——论文精读。🔻 08 Alpaca训练营——论文精读。
[大模型]LLaMA3-8B-Instruct WebDemo 部署
FL1623863129的博客
06-12 468
在 /root/autodl-tmp 路径下新建 model_download.py 文件并在其中输入以下内容，粘贴代码后记得保存文件，如下图所示。使用 modelscope 中的 snapshot_download 函数下载模型，第一个参数为模型名称，参数 cache_dir 为模型的下载路径。下面的代码有很详细的注释，大家如有不理解的地方，欢迎提出issue。如下所示，可以看出LLaMA3自带思维链，应该是在训练的时候数据集里就直接有cot形式的数据集，LLaMA3很强！
llama3 微调教程之 llama factory 的 安装部署与模型微调过程，模型量化和gguf转换。
炼丹炉里有煤灰
05-17 7199
本文记录了从环境部署到微调模型、效果测试的全过程，以及遇到几个常见问题的解决办法，亲测可用（The installed version of bitsandbytes was compiled without GPU support. NotImplementedError: Architecture ‘LlamaForCausalLM’ not supported!
vits-fast-fine-tuning
10-19
VITS（Variational Inference for Text-to-Speech）是一种端到端的文本到语音合成方法，它可以将文本转化为自然流畅的语音。VITS-Fast Fine-Tuning是对VITS模型进行快速微调的方法。 在传统的语音合成任务中，需要大量的语音对齐标注数据来训练模型。然而，这个过程非常耗时和昂贵。VITS-Fast Fine-Tuning的目标就是通过少量的标注数据来快速微调已有的VITS模型，以在新的任务上取得更好的性能。 VITS-Fast Fine-Tuning方法的关键在于使用变分推断（variational inference）来构建先验和后验分布。通过这个方法，我们可以使用其他大型语音合成数据集训练好的模型作为先验分布，然后使用少量目标任务的标注数据来估计后验分布。这样一来，我们就能够在新任务上快速微调VITS模型。 具体而言，VITS-Fast Fine-Tuning的过程分为两步。第一步是预训练，它使用大型语音数据集来训练VITS模型，并生成一个先验分布。第二步是微调，它使用目标任务的标注数据来调整VITS模型的参数，以获得更好的性能。由于预训练的先验分布已经包含了一定的知识，微调的过程可以更快速和高效。 总之，VITS-Fast Fine-Tuning是一种用于快速微调VITS模型的方法。它利用变分推断和预训练的先验分布，通过少量目标任务的标注数据来优化模型性能。这个方法可以加快语音合成模型的训练过程，降低训练的时间和成本。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值