为什么要选择使用本地部署的LLM大模型？

最新推荐文章于 2025-02-20 10:37:13 发布
最新推荐文章于 2025-02-20 10:37:13 发布
阅读量773 收藏 20
点赞数 8
分类专栏： 程序人生 网络安全 兼职副业 文章标签： 人工智能 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_71745484/article/details/144165569
版权

运行大型语言模型（LLMs），如ChatGPT和Claude，通常需要将数据发送到由OpenAI和其他AI模型提供商管理的服务器。

虽然这些服务是安全的，但一些企业为了更高的隐私，倾向于完全将数据保留在本地，并处于与外界网络离线状态。

那为什么选择使用本地LLM呢？
隐私： 可以在不离开本地服务器主机的情况下多轮次地提示本地LLMs，而无需担心提示数据被外传。

通常情况下，任何公司会尽量避免在不必要时将数据分享给他人，尤其是当数据涉及员工或工作敏感信息时。

尽管在OpenAI的数据保留政策中，他们并不保证不会查看贵公司的数据。但你希望OpenAI使用你的数据训练出的模型卖回给你吗？

通常数据隐私和安全是使用本地LLMs的关键原因。

大模型参数定义的灵活性： 本地LLMs提供高级配置选项，包括CPU线程、温度、上下文长度、GPU设置等，类似于OpenAI的playground。

可以根据自己的具体需求调整LLM，尝试不同的设置，并将其整合到现有的基础设施中。

由于LLMs是无状态的，可以随时在HuggingFace上提供的50万个模型中进行切换。因此，为企业不同的任务使用不同的模型。

模型增强： 虽然专有的LLMs（如GPT-4）在性能上可能优于本地开源模型（如Llama2或Mixtral等），但根据排行榜，这些基准任务可能并不适用于企业的具体任务或领域。

因此，企业可以轻松微调这些模型，以在特定任务上获得更好的表现。

由于开源开发比商业开发更加灵活，本地推理框架可以提供尚未在商业服务中提供的前沿功能等。

尽管通过检索增强生成（RAG）来可以管理模型、提示、内存和外部知识，但这需要定制开发。不过，随着越来越多的开源解决方案将这些组件抽象化，这也变得越来越容易。

离线支持： 即使与外界网络在离线状态下，也可以加载和连接大型语言模型。使用专有LLM需要互联网连接，而本地托管的LLMs可以在“离线模式”下运行，即使没有互联网或专有服务关闭，也可以继续使用。

如果这些外部网络服务中断，本地LLMs依然具备弹性。

连接性： 有时连接像OpenAI这样的云服务可能会出现信号差和连接不畅的情况。因此，本地托管的LLMs在响应时间上更加稳定和可预测。

根据本地LLMs所配置的硬件、模型选择和网络情况，本地LLM的延迟响应可能比调用商业LLM的API更快。

支持与安全性： 它们提供类似于OpenAI或Claude的支持和安全性。

订阅和成本： 通过使用本地LLMs，无需支付订阅费用或API调用费用。另一个与专有LLM相关的问题是供应商锁定。企业会始终受制于提供商更改定价政策的决定。

作为本地LLMs用户，虽然由于高RAM和CPU使用率增加了电费，但电费的增加，相较于专有LLM的订阅费用或API调用费用依然可能节省了开支。

对于企业LLM的商业化用途，转向本地LLM更有意义。按token付费的方式无法满足企业的规模需求，只适用于概念验证或回报率极高的用例。即便模型响应更好，API调用的费用增加也会导致较低的投资回报率。更不用说在专有大模型云平台上进行微调的高昂成本。

如果使用OpenAI的模型和库开发生成式AI应用程序，在Ollama的最新更新中，可以重用现有的OpenAI代码，只需将模型API切换为调用本地托管的LLM模型即可。

充分发挥LLMs的创造力： 大家可能已经注意到，专有模型由于为了减少有害和恶意的回应，往往经过了高度的审查、限制，并且存在偏见。

所以经常会看到类似“作为由OpenAI创建的大型语言模型……”的回应，以及“需要注意的是……”等警告性提示。这本质上并不是坏事，但有时候即使任务看似合理，LLM也可能拒绝执行，或者它可能根本无法对某些话题进行推断。

通过使用本地LLMs，可以在所有话题上获得更加富有创造性、有用且无偏见的回应。

因此，总结说来，应用本地LLM使得模型应用开发更加富有创造力，增强了数据隐私和定制化功能，同时也带来了显著的成本降低。

随着大模型的持续爆火，各行各业都在开发搭建属于自己企业的私有化大模型，那么势必会需要大量大模型人才，同时也会带来大批量的岗位？“雷军曾说过：站在风口，猪都能飞起来”可以说现在大模型就是当下风口，是一个可以改变自身的机会，就看我们能不能抓住了。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
无缝融入，即刻智能[一]：Dify-LLM大模型平台，零编码集成嵌入第三方系统，42K+星标见证专属智能方案
丨汀、的博客
08-12 6418
无缝融入，即刻智能[一]：Dify-LLM大模型平台，零编码集成嵌入第三方系统，42K+星标见证专属智能方案
API调用还是本地部署？LLM使用策略对比
AI天才研究院
02-23 1015
在这一章节，我们将详细讨论LLM的定义、发展历程以及核心作用。通过介绍LLM的核心概念、属性特征，我们将使用Mermaid流程图和ER实体关系图来直观展示LLM的基本架构。大型语言模型（Large Language Model，简称LLM）是近年来人工智能领域的重要突破之一。其核心目的是通过学习海量语言数据，实现对自然语言的高效处理和理解。本章节将详细介绍LLM的定义、发展历程和核心作用，并通过Mermaid流程图和ER实体关系图来展示其基本架构。
DeepSeek+PageAssist实现本地大模型联网
cnzzs的博客
02-17 1502
这篇文章主要介绍了通过使用PageAssist，来使得本地部署的DeepSeek模型可以联网搜索的方案。 技术背景在前面的几篇博客中，我们分别介绍过在Ubuntu上部署DeepSeek、在Windows上部署DeepSeek、使用AnythingLLM构建本地知识库的方法，其中还包含了ChatBox...
我们为什么要用本地大模型？——坤叔的本地大模型入门指南
kaka0722ww的博客
05-23 9023
大模型，在2023年主要称之为大型语言模型（Large Language Models），是一种基于人工智能和机器学习技术构建的先进模型，旨在理解和生成自然语言文本。这些模型通过分析和学习海量的文本数据，掌握语言的结构、语法、语义和上下文等复杂特性，从而能够执行各种语言相关的任务。LLM的能力包括但不限于文本生成、问答、文本摘要、翻译、情感分析等。我们最熟悉的大模型，莫过于CHATGPT。但我们最常用的大模型，未必是CHATGPT。
【AI&科研】 为什么要学习本地部署大模型？贾维斯会在多久的未来出现？
huang9604的博客
02-20 900
【AI&科研】 为什么要学习本地部署大模型？贾维斯会在多久的未来出现？
我们为什么要用本地大模型？如何搭建私有化大模型？
2401_85377976的博客
07-22 1733
大模型，在2023年主要称之为大型语言模型（Large Language Models），是一种基于人工智能和机器学习技术构建的先进模型，旨在理解和生成自然语言文本。这些模型通过分析和学习海量的文本数据，掌握语言的结构、语法、语义和上下文等复杂特性，从而能够执行各种语言相关的任务。LLM的能力包括但不限于文本生成、问答、文本摘要、翻译、情感分析等。我们最熟悉的大模型，莫过于CHATGPT。但我们最常用的大模型，未必是CHATGPT。
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
09-23
本教程旨在指导开发人员如何在本地部署开源的大型语言模型（LLM），并使用LangChain、Streamlit和LLaMA等工具来创建交互式应用程序。以下是教程中涉及到的主要知识点： 一、LangChain LangChain是一个免费的框架，...
深度学习-45-大型语言模型LLM之本地化部署运行自己的大模型
qq_20466211的博客
04-23 1781
两个可以运行在本地的大模型工具：ollama和llama.cpp，尤其是ollama，本地跑一个大模型特别简单。无论是Ollama还是llama.cpp都是运行的量化后的模型（GGUF格式的），所以对电脑配置的要求大幅降低。
目前有什么可以本地部署的大模型推荐？
qq_35054222的博客
05-22 9848
开源大模型更新迭代太快，今年刚推出的模型可能过几个月就过时了。关于这个问题，我想更多的不是思考现在能部署哪些大模型，而是要思考三个方面： 一是如何找到最新的大模型， 二是如何判断本地硬件资源是否满足大模型的需求， 三是如何快速部署大模型。
为什么选择搭建自己的大模型？
kiiy2的博客
08-14 1322
在人工智能技术迅猛发展的今天，搭建本地专属的大模型不仅是提升数据安全和计算效率的明智选择，更是实现业务目标、控制成本和优化运营的重要战略。无论您是希望保护敏感数据、提升系统性能，还是追求自主控制和定制化解决方案，本地部署的大模型都能够为您的组织提供显著的优势。选择本地部署的大模型，可以提高系统的可靠性和连续性。选择本地部署的大模型，意味着组织可以对模型的管理、维护和更新拥有完全的自主控制权。通过本地部署，组织可以通过一次性采购硬件设备和软件许可证，避免了持续的云服务费用，并能更好地预算和控制整体成本。
【AI大模型部署】教你5分钟本地部署部署AI大模型，让你从此以后再也不愁没有AI可用
bugyinyin的博客
12-28 2098
随着人工智能（AI）和机器学习（ML）技术的迅猛发展，AI模型的规模和复杂度也在不断增加。这些大规模模型，如大型语言模型（LLMs）、计算机视觉模型和复杂的推荐系统，通常需要大量的计算资源来训练和推理。云计算平台提供了便捷的解决方案，但本地部署AI大模型有其独特的优势和必要性。 大模型本地部署，顾名思义就是把大模型部署到我们本地的笔记本或者台式机上。
GPT大模型不再遥不可及：本地化部署让每个人都能拥有
ytt0523_com的博客
05-15 1782
RWKV是一个开源且允许商用的大语言模型，灵活性很高且极具发展潜力。这个工具旨在降低大语言模型的使用门槛，做到人人可用，工具提供了全自动化的依赖和模型管理，你只需要直接点击运行，跟随引导，即可完成本地大语言模型的部署，工具本身体积极小，只需要一个exe即可完成一键部署。此外，本工具提供了与OpenAI API完全兼容的接口，这意味着你可以把任意ChatGPT客户端用作RWKV的客户端，实现能力拓展，而不局限于聊天。
使用CPU本地部署一个大模型
qq_42893430的博客
09-24 3914
前言不少人都想要部署一个自己的本地大模型，但是受限于昂贵的硬件资源只能作罢，即便是量化后的模型也通常要至少5G+（ChatGLM2-6B INT4）的显存。因此我们想到能不能使用CPU来进行部署，当然了，要接受比较慢的推理速度。下面介绍两个开源模型的本地CPU量化部署方案，前提当然是要会一点点。
LLM探索：环境搭建与模型本地部署
zls365365的博客
05-22 1887
1前言最近一直在炼丹（搞AIGC这块），突然发现业务代码都索然无味了…上次发了篇AI画图的文章，ChatGPT虽然没法自己部署，但现在开源的LLM还是不少的，只要有一块差不多的显卡，要搞个LLM本地部署还是没问题的。本文将介绍这以下两个国产开源LLM的本地部署ChatGLM-6BMOSS本文先简单的把模型跑起来，后续将继续我近期在LLM方向的一些探索记录~2概念开始之前，先来看看一些基础概念。AI...
一文了解什么是大模型？到底大模型有什么用呢？
2301_76168381的博客
04-02 3531
引申到模型层面，涌现能力指的是当模型的训练数据突破一定规模，模型突然涌现出之前小模型所没有的、意料之外的、能够综合分析和解决更深层次问题的复杂能力和特性，展现出类似人类的思维和智能。而当模型的训练数据和参数不断扩大，直到达到一定的临界规模后，其表现出了一些未能预测的、更复杂的能力和特性，模型能够从原始训练数据中自动学习并发现新的、更高层次的特征和模式，这种能力被称为“涌现能力”。在探索期，以Transformer为代表的全新神经网络架构，奠定了大模型的算法架构基础，使大模型技术的性能得到了显著提升。
LLM系列 | 19 : Llama 2实战(上篇)-本地部署(附代码)
ljp1919的专栏
08-24 8623
小伙伴们好，我是《小窗幽记机器学习》的小编：卖热干面的小女孩。紧接前文：万字长文细说ChatGPT的前世今生，后续会尝试以理论+实践的方式逐步对主流的各大LLM进行实测和汉化。今天这篇关于Llama2的小作文其实比较长，所以分为上下两篇，上篇主要介绍和上的效果，包括。本文作为上篇，整个实验过程使用的模型是，包括和。下篇则主要介绍如何用中文语料对Llama 2的基座模型进行微调并实测微调后模型的效果。感兴趣的小伙伴，可以关注下！本文实验完整代码获取请前往《小窗幽记机器学习》找小编索取。
一些常见的LLM模型以及本地部署LLM的步骤
2401_83912923的博客
01-12 2153
本文主要介绍目前可以在本地部署的LLM种类及其优缺点与部署步骤详解
如何用anaconda、ollama训练本地部署的deepseek 模型？
最新发布
02-25
<think>嗯，用户问的是如何用Anaconda和Ollama来训练本地部署的DeepSeek模型。首先，我需要确认这几个工具和模型之间的关系。Anaconda是Python的环境管理工具，Ollama是一个用于本地运行大模型的工具，而DeepSeek模型可能是指深度求索公司开发的某个大语言模型，比如DeepSeek-R1或者DeepSeek-V2之类的。 首先，我得想清楚用户的需求。用户可能想在本地训练或微调一个DeepSeek的模型，使用Anaconda管理环境，Ollama来部署。但Ollama目前主要支持的是模型的运行和微调，可能不支持从头训练，所以用户可能指的是微调。不过Ollama支持的模型列表里是否有DeepSeek的模型呢？比如，Ollama的官方模型库里有Llama、Mistral等，但DeepSeek的模型可能需要用户自己导入。所以可能需要先下载DeepSeek的模型文件，转换成Ollama支持的格式。 接下来，步骤大概会是这样的：首先用Anaconda创建Python环境，安装必要的库，比如PyTorch、Transformers等。然后下载DeepSeek的模型，可能是Hugging Face上的，比如deepseek-ai/deepseek-llm-7b-chat这样的模型。接着，可能需要将模型转换为Ollama支持的GGUF格式，使用llama.cpp或者类似工具进行转换。之后，配置Ollama的Modelfile，创建Ollama模型，并进行微调。微调的话需要准备数据集，可能使用Ollama的命令行工具或者编写Python脚本进行参数调整。 不过需要注意，Ollama是否支持微调功能。目前Ollama主要是运行模型，微调可能需要用其他方法，比如Hugging Face的Trainer或者PEFT库来进行参数高效微调。这时候可能需要将Ollama和微调流程分开，Ollama用于部署，而训练部分用Transformers库来处理。 另外，用户可能混淆了训练和微调的概念。如果是本地训练，从头开始训练一个大模型需要大量计算资源，可能不现实。所以更可能的情况是微调预训练的DeepSeek模型。这时候步骤应该是：设置Anaconda环境，安装依赖，加载预训练模型和分词器，准备数据集，配置训练参数，进行微调，然后保存模型，最后用Ollama加载微调后的模型。 不过Ollama的使用流程通常是拉取现有模型，比如ollama run llama2。如果要使用自定义模型，需要创建Modelfile，指定模型路径和参数。因此，可能需要将微调后的模型转换成Ollama支持的格式，比如GGUF，然后通过Modelfile来加载。 总结下来，步骤可能包括：1. 配置Anaconda环境；2. 下载DeepSeek模型；3. 转换模型格式为GGUF；4. 创建Ollama Modelfile；5. 微调模型（可能需要其他工具）；6. 部署到Ollama。 同时需要检查DeepSeek模型的许可协议，确保允许微调和本地部署。另外，硬件要求也是一个重点，需要足够的GPU内存。如果用户没有GPU，可能需要用量化模型或者调整参数。 可能遇到的错误包括模型格式不兼容、依赖版本冲突、内存不足等。需要提醒用户注意这些点，并参考相关文档和社区支持。</think>以下是使用 Anaconda 和 Ollama 在本地训练/微调 DeepSeek 模型的步骤指南（以 **DeepSeek-7B** 为例）： --- ### **一、准备工作** 1. **硬件要求** - 建议 NVIDIA GPU（至少 16GB 显存） - 内存建议 32GB+，存储 50GB+ 可用空间 2. **安装 Anaconda** ```bash wget https://repo.anaconda.com/archive/Anaconda3-2024.02-1-Linux-x86_64.sh bash Anaconda3-2024.02-1-Linux-x86_64.sh ``` 3. **安装 Ollama** ```bash curl -fsSL https://ollama.com/install.sh | sh ``` --- ### **二、配置 Anaconda 环境** ```bash conda create -n deepseek python=3.10 conda activate deepseek pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install transformers datasets peft accelerate ``` --- ### **三、获取 DeepSeek 模型** 1. **从 Hugging Face 下载模型** ```python from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained("deepseek-ai/deepseek-llm-7b-chat") tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-llm-7b-chat") model.save_pretrained("./deepseek-7b") ``` 2. **转换为 Ollama 格式 (GGUF)** ```bash git clone https://github.com/ggerganov/llama.cpp cd llama.cpp && make python3 convert.py --outtype f16 ./deepseek-7b ``` --- ### **四、微调训练（示例）** 1. **准备数据集**（JSON 格式） ```json [ {"instruction": "解释量子力学", "input": "", "output": "..."}, {"instruction": "写一首关于春天的诗", "input": "", "output": "..."} ] ``` 2. **使用 PEFT 微调** ```python from peft import LoraConfig, get_peft_model lora_config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"]) model = get_peft_model(model, lora_config) # 配置 Trainer 进行训练... ``` --- ### **五、Ollama 本地部署** 1. **创建 Modelfile** ```text FROM ./deepseek-7b/ggml-model-f16.gguf PARAMETER num_ctx 4096 PARAMETER temperature 0.7 ``` 2. **构建并运行模型** ```bash ollama create deepseek-custom -f Modelfile ollama run deepseek-custom ``` --- ### **六、关键注意事项** 1. **量化建议**（显存不足时） ```bash ./quantize ./deepseek-7b/ggml-model-f16.gguf ./deepseek-7b/ggml-model-q4_0.gguf q4_0 ``` 2. **资源监控** - 使用 `nvidia-smi` 监控 GPU 使用 - 训练时建议使用 `accelerate` 库优化分布式训练 3. **官方参考** - DeepSeek 模型库：https://huggingface.co/deepseek-ai - Ollama 文档：https://github.com/ollama/ollama --- 通过以上步骤，您可以在本地实现 DeepSeek 模型的定制化训练与部署。如果遇到显存不足问题，建议尝试更小的量化版本（如 q4_k）或使用参数冻结技术。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值