本地部署AI大模型（非常详细）多种方法全部汇总，零基础入门到精通，看这一篇就够了

最新推荐文章于 2025-03-15 13:50:21 发布
最新推荐文章于 2025-03-15 13:50:21 发布
阅读量1.4k 收藏 22
点赞数 24
分类专栏： 本地部署AI大模型 构建私有知识库 文章标签： 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_23044533/article/details/145491702
版权

1. 使用Cherry Studio部署，适合小白

简介

Cherry Studio 内置了很多服务商，集成了超过 300 多个大语言模型。在使用过程中，你可以随意切换模型来回答问题，充分利用各个大模型的优势解决问题。目前，已经集成的常用服务商

下载链接：客户端下载 | CherryStudio (cherry-ai.com)

大模型配置

选择自己使用的大模型，配置api秘钥（需要去各自官网申请“点击这里获取秘钥”），deepSeek api地址：https://api.deepseek.com

2.使用LM Studio部署，适合小白

简介

LM Studio 是一款用于在您的电脑上开发和实验LLMs的桌面应用程序。

下载链接：Download LM Studio - Mac, Linux, Windows

设置模型目录

模型目录最好不要有中文特殊符号,最好是英文字母

下载模型

如果可以访问国外网站

镜像网站下载

https://hf-mirror.com/

下载gguf模型放到前面设置的模型目录里面

 

3.使用Ollama部署，适合有一定大模型操作基础

简介

Ollama 是一款在本地环境中运行和管理大型语言模型（LLMs）的开源工具。它为开发者、研究人员和爱好者提供了一个高效、易用的平台，能够快速实验、管理和部署最新的大语言模型。

下载链接：Download Ollama on Windows

下载模型

支持主流以及最新大模型

安装模型

下载llama3:8b，冒号前面为模型名称，冒号后面型号，也是模型参数大小。

ollama pull llama3:8b

 

运行模型 

ollama run llam3

4.使用AnythingLLM部署，适合小白

 简介

AnythingLLM 是 Mintplex Labs Inc. 开发的一款开源 ChatGPT 等效工具，用于在安全的环境中与文档等进行聊天，专为想要使用现有文档进行智能聊天或构建知识库的任何人而构建。

AnythingLLM 能够把各种文档、资料或者内容转换成一种格式，让LLM（如ChatGPT）在聊天时可以引用这些内容。然后你就可以用它来和各种文档、内容、资料聊天，支持多个用户同时使用，还可以设置谁能看或改哪些内容。支持的多种LLM、嵌入器和向量数据库。

下载地址：Download AnythingLLM for Desktop

下载模型

 

也可以Import model from Ollama or Hugging Face ，接受更丰富的大模型；

还可以搜索想要的大模型

大模型配置

有些大模型需要API Key，那就要区对应官网申请；有些不需要API Key，直接选择使用即可

向量数据库和Embedder首选项 可以使用默认的，不需要改

设置工作区

新建工作，名字自拟，这样就可以聊天了；

也可以添加训练文本，这样可以构建自己的知识库

大语言模型本地化部署+可视化微调
qq_44812718的博客
07-03 1598
安装对应依赖时，分别对应于basic_demo和composite_demo两个文件夹下的requirements.txt，分别执行下述命令，这里还需要注意一点，注释掉basic_demo/requirements.txt中的第4、5行的torch安装，如图所示，因为如果直接用它的命令安装的时cpu版本的torch，无法用gpu进行推理，这里我们注释掉之后再手动安装torch。一般我们通过上传我们自己的数据集进行微调，这里显示的是一个自我认知数据集，数据集格式为。
一文详解几种常见本地大模型个人知识库工具部署、微调及对比选型
2401_85325726的博客
08-26 4613
由于作者的眼界、精力和能力也有限，并且确实也不是专业的AI研究员，仅仅是一位兴趣使然的爱好者，这里列出的几款也单纯只是作者平常关注到的，所以可能也不全，请各位见谅！
Cherry Studio 搭建个人知识库，太好用了！（按头收藏）
2401_84494441的博客
02-13 1万+
今天我就再给大家推荐一款非常适合我们国人的 AI 助手神器 – Cherry Studio。这款工具使用简单，自带大量提示词模板，省掉了我们需要针对不同场景优化提示词的时间；还支持生成图片、翻译、搭建个人知识库等诸多功能。总而言之，Cherry Studio 上手简单，功能强大，可以说重新定义了 AI 工具，如果只推荐一款 AI 终端应用的话，那么我推荐它，赶紧用起来吧！！本文详细介绍如何使用 Cherry Studio，阅读之前先加个关注吧～
AI 大模型 + 本地知识库=安全隐患？你的隐私可能在「向量化」里裸奔
2401_84204413的博客
03-04 1172
• 知识库「切片喂食」阶段：文本分片时若未脱敏，密码可能随向量化模型参数上传云端（即使声称「本地部署」也可能暗藏玄机）；• 问答「组装投喂」环节：匹配的文本片段会被打包成 prompt 发送给大模型，如同把密码写在明信片上寄给 AI 邮差；• 实践建议：区分敏感数据和公开数据，分别建立知识库，对公开数据放心问大模型提高效率，比如说我现在写的公众号内容。👉记住：在 AI 眼里，你的密码只是 128 维空间里的一个向量点——但黑客眼中，那可是通往你数字王国的万能钥匙🔑。
LLM本地化部署与管理实用工具实践记录
最新发布
道阻且长，行则将至
03-15 1012
本文介绍了 Ollama、LLMStudio 等本地化 LLM 部署和管理的客户端软件，避免了繁杂的手动部署大模型的过程，而 AnythingLLM、CherryStudio 等软件则让我们十分方便地访问各类 LLM API 并构建本地个人专属知识库。
多模态大型语言模型（MLLM）综述（非常详细）零基础入门到精通， 收藏这一篇就够了
Hacker_j1的博客
08-18 767
A Survey on Multimodal Large Language Models多模态大型语言模型（MLLM）综述摘要—最近，以GPT-4V为代表的多模态大型语言模型（MLLM）已成为新兴的研究热点，它使用强大的大型语言模型（LLMs）作为“大脑”来执行多模态任务。MLLM出人意料的涌现能力，如基于图像编写故事和无需OCR的数学推理，是传统多模态方法中罕见的，这表明了一条通往人工通用智能的潜在路径。为此，学术界和工业界都致力于开发能够与GPT-4V竞争甚至超越的MLLM，以惊人的速度推动研究的极限。
Ai大模型丨清华大学104页pdf分享《DeepSeek从入门到精通》
weixin_72959097的博客
02-10 1646
最近，一份重磅资料在 AI 圈引发广泛关注 ——《DeepSeek 从入门到精通》。这本长达 104 页的专业文档，由清华大学新闻与传播学院新媒体研究中心元宇宙文化实验室的余梦珑博士后团队精心撰写。余梦珑博士后团队在人工智能领域有着深厚的学术造诣和丰富的实践经验，长期致力于元宇宙、人工智能技术与应用等方向的研究。他们凭借对 DeepSeek 深入的研究和理解，将大量专业知识和实用技巧融入到这份文档中，为读者呈现出一个全面且深入的 DeepSeek 世界。
大模型/ChatGPT/AIGC、论文审稿、具身智能、RAG等11大系列集锦
2401_86435672的博客
09-26 1684
学术论文GPT的源码解读与二次开发：从ChatPaper到gpt_academic// 待更…
深度学习：卷积神经网络从入门到精通
GitChat
03-28 2万+
内容简介 全面介绍各种卷积神经网络的模型、算法及应用，指导读者把握其形成和演变的基本脉络，以帮助读者在较短的时间内从入门达到精通的水平。有兴趣的读者可以从本书开始，通过图像分类、识别、检测和分割的案例，逐步深入卷积神经网络的核心，掌握深度学习的方法和精髓，领会 AlphaGo 战胜人类世界冠军的奥秘。 作者简介 李玉鑑（鉴） 北京工业大学教授，博士生导师。华中理工大学（现名为华中科技大学）本科毕...
大模型GUI系列论文阅读 DAY1：《基于大型语言模型的图形用户界面智能体：综述》（6.6W 字长文）
feifeikon的博客
01-19 1674
大型语言模型（LargeLanguageModels,LLMs）的兴起[8][9]，特别是那些增强了多模态能力的模型[10]，为GUI自动化带来了颠覆性变化，重新定义了智能体与图形用户界面交互的方式。我们将回顾GUI智能体的发展历史，提供构建这些智能体的分步指南，汇总基本和高级技术，评审与框架、数据和模型相关的重要工具和研究，展示典型应用，并概述未来发展方向。通过这些问题，本综述旨在提供对该领域现状的全面概览，为构建LLM驱动的GUI智能体提供指导，识别关键研究空白，并提出未来工作的方向。
只需三步，本地打造自己的AI个人专属知识库
热门推荐
AAI666666的博客
04-08 3万+
只需三步，本地打造自己的AI个人专属知识库
29种本地部署大模型和调用的工具平台分类与总结
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
05-01 1万+
29种本地部署大模型和调用的工具平台分类与总结
AI本地部署工具哪家强？7款热门工具横向对比
ainnle的专栏
02-17 9917
那本文将对七款热门 AI 工具 OpenWebUI、AnythingLLM、Ollama、Cherry Studio、LM Studio、Dify 和 FastGPT 进行多维度对比，以便您根据自身需求选择合适的工具。
LLM客户端开源工具cherry studio
love code, love life.
12-23 4108
Cherry Studio AI 是一款具有很高潜力的多模型 AI 助手，它通过整合多个强大的 LLM，并在不同的平台上提供统一的使用体验，旨在提高用户的工作和学习效率。这意味着 Cherry Studio AI 不仅限于使用一个单一的 AI 模型，而是集成了多个不同的 LLM。Cherry Studio AI 是一款强大的多模型AI 助手，支持iOS、macOS 和Windows 平台。在 iOS、macOS 和 Windows 上可用，使得用户可以在不同的设备上无缝使用，保持工作和学习的一致性。
DeepSeek等大模型管理神器：Cherry Studio、Chatbox、AnythingLLM，谁才是你的效率加速器？
呱牛 Just do IT
02-12 1万+
DeepSeek等大模型管理神器：Cherry Studio、Chatbox、AnythingLLM，谁才是你的效率加速器？
ollama和cherry studio是什么
02-27
### Ollama 和 Cherry Studio 的介绍 #### Ollama 概览 Ollama 是一款新兴的开源大型语言模型服务工具，在人工智能领域迅速崭露头角，为用户带来了全新的本地化模型部署体验。该平台不仅兼容多种本地模型框架，还特别支持基于 Mac 设备的 DeepSeek 离线模型部署[^2]。 通过插件化设计，Ollama 支持二次开发，允许开发者构建定制化的私域 AI 助手，满足不同应用场景的需求。这种灵活性使得 Ollama 成为了众多企业和研究机构的理想选择[^1]。 #### Cherry Studio (假设应为 LM Studio) 概览 LM Studio 同样是一款专注于自然语言处理(NLP)应用的开发环境。它提供了图形界面来简化机器学习模型的设计、训练和评估过程。对于希望快速原型化并测试新想法的研究人员来说非常有用。此外，LM Studio 还具备良好的社区支持和技术文档，帮助新手更快上手复杂的技术栈。 两者都致力于降低进入门槛，使更多的人能够参与到先进的人工智能技术的研发当中去；同时也为企业级用户提供了一个强大而灵活的工作流解决方案，助力其加速产品迭代周期和服务创新能力提升。 ```python # 示例代码展示如何连接到 Ollama API 获取预测结果 import requests def get_prediction(prompt, api_key="your_api_key"): url = "https://api.ollama.com/v1/predict" headers = {"Authorization": f"Bearer {api_key}"} data = {"prompt": prompt} response = requests.post(url, json=data, headers=headers) if response.status_code == 200: return response.json()["prediction"] else: raise Exception(f"Error: {response.text}") print(get_prediction("What is the weather like today?")) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值