五一 Llama 3 超级课堂 | 第一节 本地Web Demo部署 实践笔记

已于 2024-05-06 14:09:50 修改
阅读量377 收藏 1
点赞数 7
分类专栏： Llama3实践 文章标签： 笔记 llama
于 2024-05-06 11:41:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45078025/article/details/138485448
版权
本文介绍了如何通过VSCode远程连接开发机，配置SSH密钥并实现免登录，以及如何在本地部署Llama3WebDemo，包括环境设置、模型下载、XTuner安装和实际运行过程，最终实现与Llama3的交互。
摘要由CSDN通过智能技术生成

课程文档：Llama3-Tutorial/docs/hello_world.md at main · SmartFlowAI/Llama3-Tutorial · GitHub

前置工作

1.配置 VSCode 远程连接开发机

  • 使用ssh插件链接到开发机ssh
  •  将ssh 密钥添加到 InternStudio中，后续进入免登录 

2.进行端口映射

在开发机控制台中点击自定义服务，复制命令粘贴到本机的 powershell 中

本地 Web Demo 部署

1.环境配置

2.模型下载

  • 安装 git-lfs 依赖
  • 使用开发机软链接 InternStudio 中的模型

3.Web Demo 部署

  • 下载 Llama3-Tutorial

  • 安装 XTuner 

  • 运行  Tutorial 中 写好的web_demo.py

  • 浏览器打开，与llama3对话

王依博
关注
专栏目录
Llama3本地部署的解决方案
herosunly的博客
04-23 13万+
本文主要介绍了Llama3本地部署的解决方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行代码 3.1 修改文件 3.2 运行API 3.3 运行聊天界面 3.4 Python调用API 3.4.1 单轮对话 3.4.2 多轮对话
Llama3本地部署与高效微调入门-llama3 8b 微调
07-26
Llama3本地部署与高效微调入门_llama3 8b 微调
Win10（CPU）+ Anaconda3 + python3.9安装pytorch
AAI666666的博客
01-14 1501
Win10（CPU）+ Anaconda3 + python3.9安装pytorch
Llama 3 五一超级课堂 笔记 ==＞ 第一节、Llama 3 本地 Web Demo 部署
weixin_49477258的博客
05-09 158
Llama 3 本地 Web Demo 部署
五一超级课堂---Llama3-Tutorial（Llama 3 超级课堂）---第一节 Llama 3 本地 Web Demo 部署
haidizym的博客
05-01 320
五一超级课堂---Llama3-Tutorial（Llama 3 超级课堂）---第一节 Llama 3 本地 Web Demo 部署
Llama3-Tutorial之Llama3本地Web Demo部署
weixin_65461886的博客
05-09 153
参考五一超级课堂---Llama3-Tutorial（Llama 3 超级课堂）---第一节 Llama 3 本地 Web Demo 部署-CSDN博客 使用软连接 终于出来了，感谢同学的笔记
五一超级课堂---Llama3-Tutorial（Llama 3 超级课堂）---第二节 Llama 3 微调个人小助手认知（XTuner 版）
haidizym的博客
05-01 628
五一超级课堂---Llama3-Tutorial（Llama 3 超级课堂）---第二节 Llama 3 微调个人小助手认知（XTuner 版）
第四节课——XTuner 微调 LLM:1.8B、多模态、Agent（笔记+作业）
qq_42866802的博客
06-07 360
XTuner微调框架，是一个打包好的大模型微调工具箱。功能亮点：但是训练出来的数据格式是pytorch格式的，因此需要将其转化为更常见的Huggingface格式格式转化成功：在 XTuner 中也是提供了一键整合的指令：可以看到模型已经严重过拟合，回复的话就只有 “我是xx大佬的小助手，内在是上海AI实验室书生·浦语的1.8B大模型哦” 这句话，可以很明显的看出与原模型的差异。
书生·浦语大模型实战训练营第二期第二节课堂笔记及作业
Yedu_Su的博客
04-04 352
第二节主要介绍了四个实战任务。
AI工具集(后续有其他工具，持续更新中)
qq_16445077的博客
05-25 4335
一 AI编程类工具 1. CodeArts Snap 官网：https://www.huaweicloud.com/product/codeartside/snap.html 申请链接：https://devcloud.cn-north-4.huaweicloud.com/codeartssnap/apply CodeArts snap是华为云推出的A(编程助手，可以帮助开发者将自然语言转化为规范可阅读、无开源漏洞的安全编程语言，提升开发者编程效率，助力企业快 速响应市场需求。其核心技术基
大模型部署-使用OpenVINO本地化部署LLaMa3-附项目源码+流程教程-优质项目实战.zip
06-07
总结而言，这个项目提供了一个完整的实践路径，让开发者能够学习到如何使用OpenVINO将大型语言模型LLaMa3本地化部署。通过源码和教程，你可以深入了解OpenVINO的工作原理，掌握模型转换和推理的关键步骤，同时提升在...
Llama3模型+Windows本地运行软件（下载地址）
05-20
Meta放出Llama3模型了，也应该是这段时间里的一个科技大新闻了。 Llama一直都是开源大语言模型的领头羊驼。 而Llama3又是所有羊驼中最新的领头羊。 可以简单地来看一下官方的对比数据。 下面是Llama3和谷歌...
Greiner 经典力学（多体系统和哈密顿力学）第十二章 学习笔记（Rotation About a Point）
Ivan 的专栏
11-09 1155
上一章是绕定轴转动，这章是绕定点转动。这一章明显上难度了。
Window.history API学习笔记
常备不懈
11-12 506
在现代前端开发中，单页应用（SPA）的流行让我们对于页面的浏览历史管理需求愈加明显。`window.history` API作为浏览器提供的原生API，能够帮助开发者更加细致地控制用户的导航体验。本文将介绍`window.history` API的几个常见方法，并探讨它们的使用场景。
JavaScript面向对象笔记(4)
maoshunsheng的博客
11-10 1023
<script>//小括号表示优先级var reg = /^(abc){3}$/ // 表示abc重复3次</script>
软考中级 软件设计师 上午考试内容笔记（个人向）Part.1
ozawacai的博客
11-09 994
如标题所示
Spring学习笔记_32——事务TransactionStatus接口
LuckyLay的博客
11-12 274
TransactionStatus是Spring框架中用于表示事务状态的一个关键接口。它提供了一系列方法来查询和控制事务的执行状态，对于编程式事务管理尤为重要。TransactionStatus接口主要用来存储事务执行的状态，并且接口中定义了一组方法，用来判断或者读取事务的状态信息，
QT开发笔记之小知识
最新发布
ZaiLuShang2121的博客
11-12 281
QT学习笔记 小知识点
【LLM学习笔记】第三篇：模型微调及LoRA介绍（附PyTorch实例）
m0_49963403的博客
11-10 1497
模型微调及LoRA方法介绍，附PyTorch实例代码
OpenVINO实现LLaMa3模型的本地化部署指南
资源摘要信息: 本文档提供了关于如何使用OpenVINO工具套件本地化部署大型语言模型LLaMa3的详细指导。OpenVINO（Open Visual Inference & Neural Network Optimization）是英特尔推出的优化工具套件，主要用于将深度...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值