没有GPU也能7分钟玩上LLaMA

已于 2023-03-21 01:57:29 修改
阅读量1.1k 收藏 1
点赞数
分类专栏： 人工智能 文章标签： python 人工智能
于 2023-03-21 01:49:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bro_bear/article/details/129680014
版权

不多逼逼，直接玩

ps:需要有google账号

https://colab.research.google.com/drive/1l8Y0dOUDmFdiGgtOOZJFUR7swiXiJ55R#scrollTo=2Sn-I8M6hbRV

效果

在这里插入图片描述

我爱学习

谷歌Colab是真滴好！
免费版存在内存不足导致无法加载模型的问题，但有大佬解决了
https://github.com/facebookresearch/llama/issues/120

背景

周末想玩下llama，但身边的显卡（8G显存）跑不了llama，然后尝试了cpu版（https://github.com/ggerganov/llama.cpp）
效果一言难尽
在这里插入图片描述

在这里插入图片描述

Bro_Bear
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Docker下部署LLAMA 2
08-09
本指南主要介绍如何在docker下部署LLAMA 2，附带命令代码和docker文件的编辑代码
三种8卡GPU评测Llama2：解密大模型训练、微调和推理运行时的性能问题
Paper weekly
11-28 1271
©作者 |HKUST&DAMO TECH来源 |始智AI wisemodel始智AI wisemodel.cn社区已上线2个月，是类huggingface社区的产品，将努力打造成中国最活跃的中立AI开源社区。“源享计划”即开源共享计划，大家自己研发的开源模型和数据集，以及基于开源成果衍生的开源模型和数据集等，欢迎同步发布到国内wisemodel.cn社区，方便大家更容易获取和使用。大型...
AGI｜无GPU也能畅行无阻！Ollama大模型本地运行教程
在数字化道路无限探索
03-26 528
本文介绍了如何在无GPU环境下，通过安装Docker、Ollama、Anaconda并创建虚拟环境，实现大模型的本地运行。安装完成后，启动API服务并进行测试，确保模型的高效稳定运行。Ollama的本地部署方案为没有GPU资源的用户提供了便捷的大模型运行方案。系统推荐使用Linux，如果是Windows请使用WSL2（2虚拟了完整的Linux内核，相当于Linux）ollama本身提供了API服务，但是流式处理有点问题，python版本的没问题，这里以一个api_demo为例对齐chatgpt的api。
使用ollama跨平台部署大模型
sinat_14910583的博客
03-26 808
Get up and running with Llama 2, Mistral, Gemma, and other large language models.
43.7k star! 轻松在本地运行Llama2、Gemma等多种大模型，无需GPU！
DK34687的博客
03-05 615
支持多种模型本地部署，即可像使用ChatGPT一样使用自己的私有GPT了，重点是可以离线使用，数据更安全！下载后双击安装完成，在"Send a messsage"处输入问题，模型就可以回答了，至此已安装成功，是不是超级简单！
使用 Langchain 和 Ollama 的 PDF 聊天机器人分步指南
深度学习与计算机视觉
01-15 4254
介绍在技术不断改变我们与信息交互方式的时代，PDF 聊天机器人的概念将便利性和效率提升到了新的水平。本文深入探讨了使用 Langchain 和 Ollama 创建 PDF 聊天机器人的有趣领域，其中只需最少的配置即可访问开源模型。告别框架选择和模型参数调整的复杂性，我们踏上释放 PDF 聊天机器人潜力的旅程。了解如何无缝安装 Ollama、下载模型以及制作 PDF 聊天机器人，为你的查询提供智能响...
【快捷部署】018_Ollama（GPU版）
luckcxy的专栏
04-15 852
16期介绍的仅CPU的快捷部署，本文介绍带有GPU的云服务器快捷部署。
在本地使用CPU运行Llama 2模型来实现文档Q&A
jeansboy的专栏
07-22 1969
虽然LLM展现了出色的能力，但其运行所要求的计算和内存资源较高。为了应对这一问题，我们可以使用Quantization来压缩这些模型，以减少内存占用并加速推理计算过程，同时保持模型的性能和效果。Quantization是一种将用于表示数字或值的位数减少的技术。在LLM的上下文中，它涉及通过将权重存储在较低精度的数据类型中来减少模型参数的精度。由于它减小了模型大小，量化有助于在资源受限的设备上部署模型，例如仅有CPU但没有GPU的设备或嵌入式系统。
超详细教程：如何在笔记本上run起大模型？没有GPU也可以！（Windows/Mac）
m0_37678226的博客
08-27 5276
本文以最近刚刚发布的生物医药大模型——BioMedGPT为例，本教程提供了接触大模型技术的第一步，整理和介绍了在MacBook和Windows笔记本上如何从头开始跑起一个大模型，当然里面用到的技术也同样适用于对其他大模型进行操作。
[NLP]LLM 训练时GPU显存耗用量估计
摩登都市天空---专栏
08-12 6553
32位存储的意思就是1个参数用32个bit来存储。那么这个拥有1M参数量的模型所需要的存储空间的大小即为：1M * 32 bit = 32Mb = 1M * 4Byte = 4MB。现在的quantization技术就是减少参数量所占的位数：比如我用16位存储，那么：所需要的存储空间的大小即为：1M * 16 bit = 16Mb = 2MB。GPT-2含有1.5B个参数，如果用fp16格式，只需要1.5G*2Byte=3GB显存, 但是模型状态实际上需要耗费1.5B*16=24GB.
llama:内存访问的底层抽象
04-17
LLAMA –内存访问的低层抽象 LLAMA是用于内存访问模式抽象的C ++ 17模板仅标头库。 它区分了算法在内存上的视图和背景中的实际布局。 这样可以使用完全相同的代码为多核，多核和gpu应用提供性能可移植性。 与许多其他解决方案相比，LLAMA可以定义任意深度的嵌套数据结构。 它不仅限于数组的结构和结构数据布局的数组，还能够使用填充，阻塞，跨步或任何其他运行时或编译时访问模式来显式定义内存布局。 为了达到这个目标，LLAMA被分为完全独立的，正交的部分，这些部分完全用现代C ++ 17编写，可以在尽可能多的架构和尽可能多的编译器上运行，同时仍支持所需的扩展，例如在GPU或其他许多核心硬件上运行。 可以在以下位置找到用户文档以及有关概念和想法的概述： : Doxygen生成的API文档位于此处： : 贡献规则可以在找到。 LLAMA获得LGPL3 +许可。
中文LLaMA&Alpaca大语言模型+本地CPU_GPU训练部署 (Chinese LLaMA & Alpaca LLMs)
02-07
中文LLaMA&Alpaca大语言模型+本地CPU_GPU训练部署 (Chinese LLaMA & Alpaca LLMs).zip
中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA & Alpaca LLMs)
02-06
中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA & Alpaca LLMs)
nlp作业，基于LLaMA-Factory（python）
01-11
使用ChineseLLaMA2-1.3B模型作为基座模型 使用爬虫爬取知乎的数据作为数据集，对模型进行指令微调 尝试优化模型推理效率，使用模型量化技术优化推理速度 Model: ChineseLLaMA2-1.3B-Chat Device: Multi-GPU 数据集 数据集放置在项目data目录下的 json 文件，json 文件示例格式和字段说明如下： { "instruction": "艺术的本质是什么？", "input": "", "output": "艺术家们有想让时间停止的欲望。..." }, { "instruction": "家人得了帕金森病多年...", "input": "", "output": "1，放弃对自己使用道德标准，..." } 预训练数据集的处理方法在data/prePro.py中,json 文件中存储一个列表，列表的每个元素是一个 sample。 采用动态RoPE插值，Flash_attn加速 整个项目运行在colab上，具体代码保存在nlp中
【编译程序介绍】
武帝为此的博客
04-22 1203
简单来说，编译程序是一个软件，它读取用某种编程语言编写的源代码，分析并转换成等效的、可执行的机器语言代码。这个过程涉及多个复杂的步骤，包括语法分析、语义分析、代码优化和代码生成等。
实现自定义注解、实现自定义幂等性注解
qq_44721738的博客
04-23 591
添加 Spring AOP 依赖。创建自定义注解。创建一个新的 Java 注解类，通过@interface关键字来定义，并可以添加元注解以及属性。@Target(ElementType.METHOD) //表示作用于方法上@Retention(RetentionPolicy.RUNTIME) // 表示这个注解在运行时是可见的，这样 AOP 代理才能在运行时读取到这个注解编写 AOP 拦截（自定义注解）的逻辑代码。@Aspect@Component// 方法执行前的处理。
Pandas 2.2 中文官方教程和指南（十五）
龙哥盟
04-24 702
原文：pandas.pydata.org/docs/ 处理文本数据 原文：pandas.pydata.org/docs/user_guide/text.html 文本数据类型 在 pandas 中有两种存储文本数据的方式： object -dtype NumPy 数组。 StringDtype 扩展类型。 我们建议使用StringDtype来存储文本数据。 在 pandas 1.0 之前，object dtype 是唯一的选项。这在很多方面都是不幸的： 你可能会在object dty
selenium入门篇（环境搭建、八大定位）
最新发布
u014694915的博客
04-26 493
Web自动化测现状1.属于E2E测试2.过去通过点点点3.好的测试，还需要记录、调试网页的细节。
llama2 mac gpu
09-05
Llama2 Mac GPU是苹果公司为Mac电脑开发的一款图形处理器单元（GPU）。作为Mac电脑的一部分，它主要用于处理图形和视频任务，以提供更流畅和高品质的图形和视频显示效果。 Llama2 Mac GPU具有强大的计算能力和图形渲染性能。它采用了苹果自家设计的架构和先进的制程技术，提供了高带宽、低功耗的图形处理能力。通过使用高性能的图形运算单元和内存系统，Llama2 Mac GPU可以处理复杂的图形算法和图像效果，使用户能够享受到更逼真和流畅的视觉体验。 此外，Llama2 Mac GPU还支持苹果公司的图形技术和软件生态系统。它与Mac操作系统无缝集成，可以实现更好的系统性能和图形渲染效果。用户可以通过Llama2 Mac GPU在Mac电脑上轻松运行各种图形和视频应用程序，包括游戏、视频编辑和图像处理软件等。 总的来说，Llama2 Mac GPU是一款适用于Mac电脑的优秀图形处理器。它提供了高性能和高质量的图形渲染能力，为用户提供更好的视觉体验。无论是进行游戏、视频编辑还是图像处理，Llama2 Mac GPU都能够满足用户对图形处理的需求，为Mac用户提供更强大的计算和图形处理能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值