用例
像PrivateGPT、llama.cpp、Ollama、GPT4All、llamafile 等项目的流行度凸显了本地（在您自己的设备上）运行大型语言模型（LLMs）的需求。
这至少有两个重要的好处：
1.隐私：您的数据不会发送给第三方，也不会受到商业服务的服务条款的约束2.成本：没有推理费用，这对于需要大量令牌的应用（例如，长期运行的模拟、摘要）很重要
概述
在本地运行一个LLM需要几样东西：
1.开源LLM：可以自由修改和共享的开源LLM2.推理：在您的设备上以可接受的延迟运行此LLM的能力
开源LLMs
用户现在可以接触到快速增长的开源LLM集合。
这些LLM至少可以通过两个维度进行评估（见图）：
1.基础模型：基础模型是什么，它是如何训练的？2.微调方法：基础模型是否经过了微调，如果是，使用了哪些指令集？
推理
已经出现了一些框架，用于在各种设备上支持开源LLM的推理：
1.llama.cpp：带有权重优化/量化的llama推理代码的C++实现2.gpt4all：优化的C后端用于推理3.Ollama：将模型权重和环境捆绑到设备上运行的应用程序中，并提供LLM4.llamafile：将模型权重和运行模型所需的一切捆绑到一个单一文件中，允许您从这个文件本地运行LLM，无需任何额外的安装步骤
通常，这些框架会做几件事：
1.量化：减少原始模型权重的内存占用2.高效的推理实现：支持在消费级硬件上进行推理（例如，CPU或笔记本电脑GPU）
特别是，请参阅这篇（https://finbarr.ca/how-is-llama-cpp-possible/）关于量化重要性的优秀文章。
LLaMa权重所需的内存
| 参数数量 (B) | 浮点32位所需的RAM (GB) | 半精度浮点数所需的RAM (GB) | 8位整数所需的RAM (GB) | 4位整数所需的RAM (GB) |
|---|---|---|---|---|
| 7 | 28 | 14 | 7 | 35 |
| 13 | 52 | 26 | 13 | 65 |
| 32.5 | 130 | 65 | 32.5 | 16.25 |
| 65.2 | 260.8 | 130.4 | 65.2 | 32.6 |
通过减少精度，我们大幅减少了存储LLM所需的内存。
此外，我们可以看到GPU内存带宽表的重要性！
一个Mac M2 Max由于拥有更大的GPU内存带宽，在推理上比M1快5-6倍。
快速开始
Ollama是在macOS上轻松运行推理的一种方式。
这里的说明提供了详细信息，我们总结如下：
•下载并运行应用程序•从命令行，从这个选项列表中获取模型：例如，ollama pull llama2•当应用程序运行时，所有模型都会自动在 localhost:11434 上提供服务
' The first man on the moon was Neil Armstrong, who landed on the moon on July 20, 1969 as part of the Apollo 11 mission. obviously.'
生成它们被创建时的流令牌。
from langchain_core.callbacks import CallbackManager, StreamingStdOutCallbackHandler
llm = Ollama(
model="llama2", callback_manager=CallbackManager([StreamingStdOutCallbackHandler()])
)
llm.invoke("The first man on the moon was ...")
环境
推理速度是本地运行模型时的挑战（见上文）。
为了最小化延迟，最好在GPU上本地运行模型，许多消费级笔记本电脑都配备了GPU，例如苹果设备。
即使有GPU，可用的GPU内存带宽（如上所述）也很重要。
运行苹果 silicon GPU
Ollama 和 llamafile 将自动利用苹果设备上的GPU。
其他框架要求用户设置环境以利用苹果GPU。
例如，llama.cpp Python绑定可以通过Metal配置为使用GPU。
Metal是苹果创建的一种图形和计算API，提供接近直接访问GPU的权限。
请参见此处的llama.cpp设置以启用此功能。
特别是，确保conda使用的是您创建的正确虚拟环境（miniforge3）。
例如，对我来说：
conda activate /Users/rlm/miniforge3/envs/llama
确认上述情况后，然后：
CMAKE_ARGS="-DLLAMA_METAL=on" FORCE_CMAKE=1 pip install -U llama-cpp-python --no-cache-dir
LLMs
有多种方法可以获得量化模型权重的访问权限。
1.HuggingFace - 许多量化模型可供下载，并可使用llama.cpp等框架运行。您也可以从HuggingFace下载llamafile格式的模型。2.gpt4all - 模型浏览器提供了一个排行榜，列出了可用的量化模型的指标和相关下载。3.Ollama - 可以通过pull直接访问几种模型。
Ollama
使用Ollama，通过 ollama pull : 获取模型：
•例如，对于Llama-7b：ollama pull llama2 将下载模型的最基本版本（例如，参数数量最少和4位量化）。•我们还可以指定模型列表中的特定版本，例如：ollama pull llama2:13b。•查看API参考页面上的完整参数集。
' Sure! Here's the answer, broken down step by step:\n\nThe first man on the moon was... Neil Armstrong.\n\nHere's how I arrived at that answer:\n\n1. The first manned mission to land on the moon was Apollo 11.\n2. The mission included three astronauts: Neil Armstrong, Edwin "Buzz" Aldrin, and Michael Collins.\n3. Neil Armstrong was the mission commander and the first person to set foot on the moon.\n4. On July 20, 1969, Armstrong stepped out of the lunar module Eagle and onto the moon's surface, famously declaring "That's one small step for man, one giant leap for mankind."\n\nSo, the first man on the moon was Neil Armstrong!'
Llama.cpp
Llama.cpp与广泛的模型兼容。
例如，我们在HuggingFace下载的4位量化的llama2-13b上运行推理。
如上所述，请参见API参考以获取完整的参数集。
从lamma.cpp API参考文档中，有一些值得评论的：
n_gpu_layers：要加载到GPU内存中的层数
•值：1•意义：通常只将模型的一层加载到GPU内存中（1通常足够）。
n_batch：模型应该并行处理的令牌数量
•值：n_batch•意义：建议选择1到n_ctx（在这个案例中设置为2048）之间的值。
n_ctx：令牌上下文窗口
•值：2048•意义：模型每次将考虑2048个令牌的窗口。
f16_kv：模型是否应该对键/值缓存使用半精度
•值：True•意义：模型将使用半精度，这可能更节省内存；Metal只支持True。
from langchain_community.llms import LlamaCpp
from langchain_core.callbacks import CallbackManager, StreamingStdOutCallbackHandler
llm = LlamaCpp(
model_path="/Users/rlm/Desktop/Code/llama.cpp/models/openorca-platypus2-13b.gguf.q4_0.bin",
n_gpu_layers=1,
n_batch=512,
n_ctx=2048,
f16_kv=True,
callback_manager=CallbackManager([StreamingStdOutCallbackHandler()]),
verbose=True,
)
控制台日志将显示以下内容，以指示Metal已正确启用：
ggml_metal_init: allocatin
gggml_metal_init: using MPS
llm.invoke("The first man on the moon was ... Let's think step by step")
GPT4All
我们可以使用从GPT4All模型浏览器下载的模型权重。
与上面显示的类似，我们可以运行推理并使用API参考来设置感兴趣的参数。
llamafile
使用llamafile在本地运行LLM的最简单方法是：
- 从HuggingFace下载一个llamafile 2) 使文件可执行 3) 运行文件
llamafiles将模型权重和一个特别编译版本的llama.cpp捆绑到一个单一文件中，可以在大多数计算机上运行，无需任何额外依赖。它们还带有一个内置的推理服务器，提供与您的模型交互的API。
以下是一个简单的bash脚本，显示所有3个设置步骤：
# 从HuggingFace下载一个llamafile
wget https://huggingface.co/jartine/TinyLlama-1.1B-Chat-v1.0-GGUF/resolve/main/TinyLlama-1.1B-Chat-v1.0.Q5_K_M.llamafile
# 使文件可执行。在Windows上，改为将文件重命名为以".exe"结尾。
chmod +x TinyLlama-1.1B-Chat-v1.0.Q5_K_M.llamafile
# 启动模型服务器。默认监听 http://localhost:8080。
./TinyLlama-1.1B-Chat-v1.0.Q5_K_M.llamafile --server --nobrowser
运行上述设置步骤后，您可以使用LangChain与模型交互：
提示
一些LLM将从特定提示中受益。
例如，LLaMA将使用特殊标记。
我们可以使用ConditionalPromptSelector根据模型类型设置提示。
使用案例
鉴于从一个以上模型创建的llm，您可以将其用于许多用例。
例如，这里有一份使用本地LLM进行RAG的指南。
一般来说，本地LLM的用例可以由至少两个因素驱动：
•隐私：用户不想共享的私有数据（例如，日记等）•成本：文本预处理（提取/标记）、摘要和代理模拟是使用大量令牌的任务
此外，这里还有一个关于微调的概述，可以利用开源LLM。
读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用
对于0基础小白入门：
如果你是零基础小白，想快速入门大模型是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
👉AI大模型学习路线汇总👈
大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；
第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
👉大模型实战案例👈
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
👉大模型视频和PDF合集👈
观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
4971
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
