在本地运行LLM的6种方法

最新推荐文章于 2024-10-09 10:59:48 发布
最新推荐文章于 2024-10-09 10:59:48 发布
阅读量571 收藏 13
点赞数 24
文章标签： 语言模型 人工智能 自然语言处理 深度学习 gpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_76225313/article/details/139795873
版权

商业人工智能和大型语言模型（LLM）有一个很大的缺点：隐私！在处理敏感或专有数据时，我们无法从这些工具中受益。

这使我们了解如何在本地运营私有 LLM。开源模型提供了一种解决方案，但它们也有其自身的一系列挑战和好处。

和我一起探索 ChatGPT 的本地替代品，您可以在自己的计算机上运行它。

设定期望

开源非常广泛，有数千种可用的模型，从像 Meta 这样的大型组织提供的模型到个人爱好者开发的模型不等。然而，运行它们会带来一系列挑战：

  • 它们可能需要强大的硬件：充足的内存，可能还需要一个 GPU
  • 虽然开源模型正在改进，但它们通常无法与 ChatGPT 等更完善的产品的功能相匹配，后者受益于大型工程师团队的支持。
  • 并非所有型号都可以用于商业用途。

正如谷歌泄露的一份文件所暗示的那样，开源和闭源模型之间的差距正在缩小。

在这里插入图片描述

1.Hugging Face and Transformers

Hugging Face 是机器学习和 AI 的 Docker Hub 等价物，提供了大量开源模型。幸运的是，Hugging Face 会定期对模型进行基准测试，并提供排行榜以帮助选择可用的最佳模型。

Hugging Face 还提供了 transformers，这是一个 Python 库，可以简化在本地运行 LLM。以下示例使用该库运行较旧的 GPT-2 microsoft/DialoGPT 中型模型。在第一次运行时，变形金刚将下载模型，您可以与它进行五次交互。该脚本还需要安装 PyTorch。

from transformers importAutoModelForCausalLM, AutoTokenizer
import torch


tokenizer = AutoTokenizer.from_pretrained("microsoft/DialoGPT-medium", padding_side='left')
model = AutoModelForCausalLM.from_pretrained("microsoft/DialoGPT-medium")
# source: https://huggingface.co/microsoft/DialoGPT-medium# Let's chat for 5 lines
for step in range(5):
    # encode the new user input, add the eos_token and return a tensor in Pytorch
    new_user_input_ids = tokenizer.encode(input(">> User:") + tokenizer.eos_token, return_tensors='pt')    # append the new user input tokens to the chat history
    bot_input_ids = torch.cat([chat_history_ids, new_user_input_ids], dim=-1) if step > 0 else new_user_input_ids    # generated a response while limiting the total chat history to 1000 tokens, 
    chat_history_ids = model.generate(bot_input_ids, max_length=1000, pad_token_id=tokenizer.eos_token_id)    # pretty print last output tokens from bot
    print("DialoGPT: {}".format(tokenizer.decode(chat_history_ids[:, bot_input_ids.shape[-1]:][0], skip_special_tokens=True)))

Transformers优点：

  • 自动模型下载
  • 可用的代码片段
  • 实验和学习的理想选择

Transformers缺点：

  • 需要对 ML 和 NLP 有扎实的理解
  • 编码和配置技能是必要的

2. LangChain

我们可以在本地运行 LLM 的另一种方法是使用 LangChain。LangChain 是一个用于构建 AI 应用程序的 Python 框架。它提供了抽象和中间件，用于在其支持的模型之一之上开发 AI 应用程序。例如，以下代码向 microsoft/DialoGPT 中型模型提出一个问题：

from Langchain.LLMs.huggingface_pipeline import HuggingFacePipeline


hf = HuggingFacePipeline.from_model_id(
    model_id="microsoft/DialoGPT-medium", task="text-generation", pipeline_kwargs={"max_new_tokens": 200, "pad_token_id": 50256},
)
from langchain.prompts import PromptTemplatetemplate = """Question: {question}Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)chain = prompt | hfquestion = "What is electroencephalography?"print(chain.invoke({"question": question}))

LangChain的优点：

  • 更轻松的模型管理
  • 用于 AI 应用程序开发的有用实用程序

LangChain缺点：

  • 限速，与变形金刚相同
  • 您仍必须对应用程序的逻辑进行编码或创建合适的 UI。

3. Llama.cpp

Llama.cpp 是一个基于 C 和 C++ 的 LLM 推理引擎，针对 Apple 芯片进行了优化，并运行 Meta 的 Llama2 模型。

克隆存储库并构建项目后，我们可以使用以下命令运行模型：

$ ./main -m /path/to/model-file.gguf -p “Hi，there！”

Llama.cpp优点：

  • 比基于 Python 的解决方案具有更高的性能
  • 在适度的硬件上支持 Llama 7B 等大型模型
  • 提供绑定以使用其他语言构建 AI 应用程序，同时通过 Llama.cpp 运行推理。

Llama.cpp缺点：

  • 有限的模型支持
  • 需要工具构建

4.Llamafile

Llamafile 由 Mozilla 开发，为运行 LLM 提供了一种用户友好的替代方案。 Llamafile 以其可移植性和创建单文件可执行文件的能力而闻名。

一旦我们下载了 llamafile 和任何 GGUF 格式的模型，我们就可以启动本地浏览器会话：

$ ./llamafile -m /path/to/model.gguf

Llamafile 优点：

  • 与 Llama.cpp 相同的速度优势
  • 您可以生成嵌入了模型的单个可执行文件

Llamafile 缺点：

  • 该项目仍处于早期阶段
  • 并非所有模型都受支持，只有 Llama.cpp 支持的模型。

5.Ollama

Ollama 是 Llama.cpp 和 Llamafile 的更用户友好的替代品。下载在计算机上安装服务的可执行文件。安装后，打开终端并运行：

$ Ollama Run llama2

Ollama 将下载模型并开始交互式会话。

Ollama优点：

  • 易于安装和使用。
  • 可以运行骆驼和骆马模型。
  • 它真的很快。

Ollama 缺点：

  • 提供有限的模型库。
  • 自行管理模型，不能复用自己的模型。
  • 运行 LLM 的不可调选项。
  • 暂无 Windows 版本。

6. GPT4ALL

GPT4ALL 是一款易于使用的桌面应用程序，具有直观的 GUI。它支持本地模型运行，并通过 API 密钥提供与 OpenAI 的连接。它以其处理本地文档上下文的能力而著称，从而确保了隐私。

在这里插入图片描述

优点：

  • 具有友好用户界面的精美替代品
  • 支持一系列精选模型

缺点：

  • 型号选择有限
  • 某些型号有商业使用限制

结论

选择正确的工具在本地运行 LLM 取决于您的需求和专业知识。从用户友好的应用程序（如 GPT4ALL）到更多技术选项（如 Llama.cpp 和基于 Python 的解决方案），环境提供了多种选择。开源模型正在迎头赶上，提供了对数据和隐私的更多控制。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

溜溜程序员
关注
在本地运行大型语言模型 (LLM) 的六种方法（2024 年 1 月）
gongdiwudu的专栏
02-05 1万+
这篇文章被称为“本地运行大型语言模型 (LLM) 的五种方法”，于 2024 年 1 月更新了有关vLLM的内容。虽然 vLLM 于 2023 年 6 月发布，但它最近获得了更多关注。因此，我想将其添加到此列表中。
【LongChain-03】在本地运行LLM的另一些案例
gongdiwudu的专栏
02-05 2418
PrivateGPT、 llama.cpp和 GPT4All等项目的流行 强调了在本地（在您自己的设备上）运行 LLM 的需求。    这至少有两个重要的好处：    Privacy：您的数据不会发送给第三方，并且不受商业服务的服务条款的约束    Cost：没有推理费用，这对于代币密集型应用程序很重要（例如，长时间运行的模拟、摘要）
大模型部署 | 如何本地部署LLM服务？以ollama为例（安装ollama、启动服务、API测试）
最新发布
m0_56255097的博客
10-09 1613
本文主要介绍如何安装ollama，并演示2种加载模型的方法：(1)拉取ollama官方已经有的模型，进行LLM服务部署。(2)加载本地模型部署大模型服务。最后，对部署的LLM服务的接口进行测试。AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源。
LLM探索：环境搭建与模型本地部署
python12345678_的博客
06-29 874
最近一直在炼丹（搞AIGC这块），突然发现业务代码都索然无味了…上次发了篇AI画图的文章，ChatGPT虽然没法自己部署，但现在开源的LLM还是不少的，只要有一块差不多的显卡，要搞个LLM本地部署还是没问题的。本文将介绍这以下两个国产开源LLM的本地部署ChatGLM-6BMOSS本文先简单的把模型跑起来，后续将继续我近期在LLM方向的一些探索记录~这是清华和智谱公司搞的开源LLM，截止本文撰写时，其在国产开源LLM里面算是天花板的存在了~
本地部署LLM（Ollama和Open-WebUI）
Morejay的博客
07-31 1327
LLM（大语言模型）因为对设备的性能要求比较高，一般是部署在云端，通过网络远程访问。那么想在本地部署（玩一玩）能不能做到呢？Ollama就是实现这个目的的工具。Ollama是一个由Facebook AI Research开发的开源、轻量级且高效的大型语言模型（LLM）框架。它旨在使研究人员和开发人员能够更轻松地在自己的硬件上部署和运行LLM，而无需专门的云计算资源。Ollama提供了一个简单直观的界面，用于加载、运行和评估LLM。它还支持各种自定义选项，允许用户根据特定需求定制LLM。
个人电脑本地部署LLM
神棍之路
04-26 1480
普通电脑配置即可本地运行大模型。
Python_用于在现代消费级gpu上本地运行llm的快速推理库.zip
05-25
标题中的“Python_用于在现代消费级gpu上本地运行llm的快速推理库”表明这是一个Python库，专门设计用于在常见的消费级图形处理单元（GPU）上高效地执行大型语言模型（LLM）的推理任务。这样的库对于数据科学家、...
SwiftUI AI系列之在 Swift 中本地运行 LLM(教程含源码)
iCloudEnd的博客
08-16 62
我没有想到能够如此轻松地在 mac os 应用程序中本地运行开源模型，这将是一个关于如何使用Ollama和 Swift 库SwiftOpenAI来执行此操作的简短教程。今年，Ollama为 OpenAI Chat Completions API构建了兼容性。这允许您使用与与 OpenAI 模型交互时使用的相同 API 来使用本地模型。您可以按照以下简单的步骤在您的应用程序中使用强大的模型，例如llama3或Mistral！
LM studio Server 您可以通过在本地主机上运行的 API 服务器使用在 LM Studio 中加载的 LLM
04-10
2. 在应用程序内，搜索并下载 LLM，例如 TheBloke/Mistral-7B-Instruct-v0.2-GGUF（磁盘上大约 4GB） 3.前往“本地服务器”选项卡（左侧的 ） 4.从下拉列表中选择加载您下载的任何 LLM。 5.单击绿色的启动服务器按钮...
教你本地化部署与使用一款免费的LLM应用工程化平台
m0_63171455的博客
06-03 2756
平台已经就绪，现在需要让应用与Langfuse集成起来，以能够跟踪、评估与分析我们的应用。使用Langfuse的SDK/API，Langfuse能够与现有的任意应用做集成，但如果你的应用是基于LangChain、LlamaIndex这样的开发框架，那么使用起来会更加方便，这里先介绍与LangChain应用集成。随着LLM应用的不断成熟，特别是在B端企业场景中的逐渐落地，其不再停留在原型与验证阶段，将面临着更高的工程化要求，无论是输出的稳定性、性能、以及成本控制等，都需要实现真正的“生产就绪”；
MLC LLM - 大模型本地部署解决方案
新缸中之脑
05-07 2731
近年来，生成式人工智能 (AI) 和大型语言模型 (LLM) 取得了显着进步，并变得越来越普遍。由于开源计划，现在可以使用开源模型开发个人AI助手。但是，LLM 往往是资源密集型和计算要求高的。要创建可扩展的服务，开发人员可能需要依赖强大的集群和昂贵的硬件来运行模型推理。此外，部署 LLM 还面临一些挑战，例如不断发展的模型创新、内存限制以及对潜在优化技术的需求。该项目的目标是支持开发、优化和部署 AI 模型，以便跨各种设备进行推理，不仅包括服务器级硬件，还包括用户的浏览器、笔记本电脑和移动应用程序。
LLM大模型本地部署与预训练微调
LLMUZI123456789的博客
06-27 1210
模型微调过程会使用CPU，且占用内存大概22G左右；参照官方文档：https://github.com/QwenLM/Qwen/blob/main/README_CN.md。创建环境，建议单独创建一个新环境，避免与现有环境冲突，创建后要先安装pytorch，再安装项目依赖模块。提前安装好git跟git lfs，否则可能拉取不到模型文件，git lfs主要用于大文件拉取。项目文件以及环境安装好后，继续拉取模型文件，由于内存有限，拉取1.8B即可。1、环境条件：Linux 24G内存左右。
新技术前沿-2024-大型语言模型LLM的本地化部署
qq_20466211的博客
04-23 1413
大语言模型的本地化部署
LLM系列 | 19 : Llama 2实战(上篇)-本地部署(附代码)
ljp1919的专栏
08-24 7412
小伙伴们好，我是《小窗幽记机器学习》的小编：卖热干面的小女孩。紧接前文：万字长文细说ChatGPT的前世今生，后续会尝试以理论+实践的方式逐步对主流的各大LLM进行实测和汉化。今天这篇关于Llama2的小作文其实比较长，所以分为上下两篇，上篇主要介绍和上的效果，包括。本文作为上篇，整个实验过程使用的模型是，包括和。下篇则主要介绍如何用中文语料对Llama 2的基座模型进行微调并实测微调后模型的效果。感兴趣的小伙伴，可以关注下！本文实验完整代码获取请前往《小窗幽记机器学习》找小编索取。
本地运行大语言模型（LLMs）
python12345_的博客
06-14 1795
在本地运行一个LLM需要几样东西：1.开源LLM：可以自由修改和共享的开源LLM2.推理：在您的设备上以可接受的延迟运行此LLM的能力。
使用 vLLM 部署本地 LLM 指南
热门推荐
spicy_chicken123的博客
01-24 1万+
我们输入以下命令启动服务器，–model 为本地模型的路径，–served-model-name 是模型在服务器中的别名，这里我们取简称 openchat，其他都是默认值，当然也可以自己设置。在这里我们不演示了，直接将 vLLM 部署为模仿 OpenAI API 协议的服务器，这使得 vLLM 可以用作使用 OpenAI API 的应用程序的直接替代品。当然，你也可以试一试 ChatCompletions 格式的请求，ChatCompletions API 的请求内容如下，两种的格式还是有一些区别的。
Ollama：一个在本地部署、运行LLM大型语言模型的工具
2401_82469710的博客
06-26 1492
Ollama是一个专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计的工具。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值