大模型本地部署（Ollama + Chatbox AI）

于 2025-05-19 15:46:43 发布
阅读量721 收藏 14
点赞数 28
文章标签： 人工智能 程序员 大模型 transformer LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81888214/article/details/148065270
版权

后端 Ollama

1. 下载安装

到Ollama下载安装即可，安装过程和一般软件一致，保存地址目前只能默认在C盘。

图片

2. 命令行使用

打开windows命令行，可在命令行使用。

基本命令：

查看版本：

ollama -v

使用大模型（以deepseek-r1-1.5b模型为例，首次使用会下载）：

ollama run deepseek-r1:1.5b

图片

图片

3. 退出

Ctrl+D 退出。

前端 Chatbox AI

1. 下载安装

到 Chatbox AI 下载安装即可，安装过程和一般软件一致。

图片

2. 设置大模型API

点击 “使用本地模型” → “Ollama API”，选择 “deepseek-r1-1.5b” 模型，保存。

图片

图片

图片

3. 对话

新建对话，就能通过窗口与AI交流。

图片

 如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

 

LLM.
关注
DeepSeek在windows本地部署
weixin_42049123的博客
02-07 3966
最近大火的deepseek,在使用网页API交流的时候经常失败，就研究如何部署在本地，发现deepseek真的是拉低了大模型使用的门槛，部署十分简单，大家可以试试。
DeepSeek R1本地化部署 Ollama + Chatbox 打造最强 AI 工具
qq_43380361的博客
02-09 430
一键本地化部署DeepSeek大模型
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
Y525698136的博客
08-07 1416
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
《开源大模型食用指南》发布，7个小时，一杯奶茶速通大模型！
Datawhale
01-08 1344
Datawhale开源开源贡献：Datawhale self-llm团队前 言《开源大模型食用指南》是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生...
【开源项目】MaxKB+Ollama：构建私有化知识库问答系统
m0_59235245的博客
06-12 4862
MaxKB 是一款基于 LLM 大语言模型的知识库问答系统。MaxKB = Max Knowledge Base，旨在成为企业的最强大脑。：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化，智能问答交互体验好；：支持零编码快速嵌入到第三方业务系统；：支持对接主流的大模型，包括 Ollama 本地私有大模型（如 Llama 2、Llama 3、qwen）、通义千问、OpenAI、Azure OpenAI、Kimi、智谱 AI、讯飞星火和百度千帆大模型等。
开源项目QAnything：全能型本地知识库问答系统
人工智能讲师分享前沿技术
06-14 3833
在当今信息爆炸的时代，如何高效地管理和检索大量数据成为了一个重要课题。网易有道推出的开源项目QAnything，正是为了解决这一问题而生。QAnything是一个本地知识库问答系统，支持多种文件格式和数据库，允许用户在离线状态下进行安装和使用。用户只需将任何格式的本地存储文件放入系统，即可获得准确、快速且可靠的答案。
DEEP SEEK 本地部署（Ollama + ChatBox）+ 私有知识库（cherry studio）教程
02-06
适合人群：适合有一定技术背景且想探索本地部署人工智能模型的初学者或是希望通过本地化部署提高效率的研发团队。 使用场景及目标：一是帮助用户了解并掌握在本地环境中配置高性能 AI 工具的全流程操作；二是使用户...
DeepSeek本地部署：Ollama+ChatBox安装部署包
02-25
Chatbox是一款AI客户端应用和智能助手，支持众多先进的AI模型和API接入，可在Windows、Mac、Android、iOS、Linux和网页版上进行使用。 安装部署操作教程指南请参考：...
ollama+chatbox本地部署手机deepseek软件
02-09
ollama+chatbox本地部署手机deepseek软件是一个面向未来的技术应用，它既展现了人工智能在移动设备上的巨大潜力，同时也为用户提供了便捷、安全的数据处理方式。随着相关技术的不断进步，我们有理由相信，未来的软件...
零门槛本地部署！手把手教你用Ollama+Chatbox玩转DeepSeek大模型
修己xj的博客
02-09 1880
Ollama 是一款开源的本地大模型部署工具，旨在让用户能够轻松在个人电脑上运行各种开源大型语言模型（如 Llama、Mistral、DeepSeek 等）。它支持跨平台操作（Windows/macOS/Linux），提供一键式安装和模型管理，优化了内存和计算资源的使用，即使是普通配置的设备也能流畅运行。通过 Ollama，开发者、研究者和爱好者可以快速部署私有化 AI 应用，无需依赖云端服务，同时享受高效、安全的本地 AI 体验。
《开源大模型食用指南》基于Linux环境快速部署开源大模型，更适合中国宝宝
09-02
《开源大模型食用指南》基于Linux环境快速部署开源大模型，更适合中国宝宝的部署教程_self-llm
MaxKB 结合 DeepSeek 实现基于 LLM 大语言模型的知识库问答系统
ws_zzzz的博客
07-08 5193
性能卓越DeepSeek-V2模型参数量达到了惊人的236B，每个token激活21B参数，支持长达128K token的上下文长度，性能直逼GPT-4-Turbo。在中文综合能力评测中，DeepSeek-V2超越了所有开源模型，与GPT-4-Turbo等行业巨头处于同等水平。在英文综合评测中，与最强的开源模型LLaMA3-70B处于同一梯队，超过最强MoE开源模型Mixtral8x22B。在知识、数学、推理、编程等多个领域的专项基准测试中均表现出色。低成本高效能。
2023大模型安全解决方案白皮书
12-06 1062
在当今迅速发展的数字化时代，人工智能技术正引领着科技创新的浪潮而其中的大模型技术则被视为人工智能的一大突破。大模型是指参数量巨大能力强大的人工神经网络模型，以其卓越的表现在自然语言处理、计算机视觉、语音识别等领域赢得了持续的关注和青睐。这些模型的出现，不仅在学术界引起了研究者们的广泛兴趣，也在商业应用领域带来了一系列创新和变革大模型技术的崛起，首要得益于深度学习的发展以及硬件计算能力的提升。深度学...
33页PDF | 2024年中国金融大模型产业发展洞察报告（附下载）
xxue345678的博客
11-14 669
AI Agent智能体将推动大模型能力的落地应用，金融大模型未来将与其他技术协同应用，承担更重要的金融投资角色，但需解决技术、业务与合规方面的应用困境。金融大模型由通用大模型基座、专用模型工具链、私域业务场景训练三部分组成，具有降低成本、保留差异化竞争空间、与底层模型同步迭代、模型精准、结果可靠、产品结构轻量化、应变能力强、维护及迭代成本低等优势。通过对行业深耕程度、产品与技术能力、服务能力及生态能力四个核心维度的评估，评选出东方财富、马上消费、奇富科技等20家中国金融大模型产业卓越服务厂商。
从0入门大模型，看这5本就够了！
图灵教育
06-25 419
随着人工智能技术的飞速发展，大模型已经成为推动这一领域进步的核心力量。它们通过处理海量数据，学习复杂的模式和关系，为各种应用提供了强大的智能支持。从语音识别到自动驾驶，再到个性化推荐系统，大模型正在不断地改变我们的生活和工作方式。然而，对于初学者来说，大模型的世界可能显得既神秘又难以接近。熟练掌握大模型的知识和技能在未来职场将是一项基本要求。无论是为了提升自己的技术能力，还是为了在职场上保持竞争力...
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 1576
AI菜鸟向前飞 — LLM简介
书单 | 6本AI领域名家名作，大模型时代，趁风而起！
2401_84495872的博客
05-08 2476
大模型时代，想抓住风口吗？本期书单就来分享，给大家把大模型时代那些事儿讲清楚！放心，入门的同学也可以从最基础的学起~~快来看看有哪些书吧……▊《彭勇，彭旋，郑志军，茹炳晟 著读懂ChatGPT的核心技术、GPT的进化史和创新点详述多模态大模型的核心技术和应用场景让中小公司可以从0到1部署多模态大模型，打开通往通用人工智能的大门本书详细介绍了大语言模型和多模态大模型的发展历史、技术原理和亮点、主要的开源框架、配套工具、部署细则和实战案例。
Deepseek本地部署（Windows）
weixin_46653941的博客
02-10 1943
保姆级windows10本地部署deepseek-r1教程
开源项目：从零开始构建大模型，从离谱到优秀！
最新发布
m0_65555479的博客
04-24 482
GitHub 上开源了一个从零开始训练大模型的一个项目，可以说是新手学习大模型的福音项目。想学大模型的朋友推荐学习。1、项目前置知识大语言模型（LLM）领域，如 GPT、LLaMA、GLM 等，虽然它们效果惊艳， 但动辄10 Bilion庞大的模型参数个人设备显存远不够训练，甚至推理困难。几乎所有人都不会只满足于用Lora等方案fine-tuing大模型学会一些新的指令， 这约等于在教牛顿玩21世纪的智能手机，然而，这远远脱离了学习物理本身的奥妙。
ollama + chatbox 本地部署deepseek
03-13
<think>好的，我需要帮助用户了解如何在本地部署集成Ollama和Chatbox的DeepSeek模型。首先，我需要整理用户提供的引用内容，看看里面有哪些关键步骤。根据引用[2]和引用[3]，部署过程大致分为三个步骤：安装Ollama、安装DeepSeek模型，以及配置Chatbox。 首先，安装Ollama。用户提到需要下载对应操作系统的安装包，然后运行安装程序。安装完成后，可能还需要验证是否安装成功，比如通过命令行输入ollama --version。接下来，安装DeepSeek模型，这里有不同的版本，如1.5B、7B、14B等。用户需要运行类似ollama run deepseek-r1:7b的命令来下载和安装模型。需要注意模型名称的正确性，避免输入错误。 然后是配置Chatbox。用户需要下载并安装Chatbox，然后在设置中选择API类型为Ollama，填写正确的接口地址http://localhost:11434，并输入对应的模型名称。同时，防火墙设置也很重要，确保端口11434开放，否则连接可能会失败。 可能还需要考虑不同操作系统下的具体步骤是否有差异，比如Windows和macOS在安装Ollama时的区别。另外，用户可能会遇到模型下载速度慢的问题，这时候可能需要检查网络连接或者使用镜像源。在配置Chatbox时，如果无法连接，可能需要检查Ollama服务是否正在运行，或者模型名称是否正确。 还需要提醒用户注意模型的版本选择，不同版本的模型对硬件资源的要求不同，比如较大的模型可能需要更多的内存和显存。如果用户遇到内存不足的问题，可能需要选择较小的模型版本，如1.5B或7B。 最后，生成相关问题时，需要覆盖用户可能关心的性能优化、应用场景以及常见问题解决方法，比如如何提升模型响应速度、适合的任务类型等。确保回答结构清晰，分步骤说明，让用户能够逐步跟随操作，避免遗漏关键细节。</think>### 如何在本地部署集成 Ollama 和 Chatbox 的 DeepSeek 模型？ 以下是分步部署指南，结合引用内容整理： #### 1. **安装 Ollama** - **下载安装包**：访问 [Ollama 官网](https://ollama.ai/) 下载对应操作系统的安装包（支持 Windows/macOS/Linux）[^2]。 - **运行安装程序**：安装完成后，Ollama 会默认启动后台服务，可通过命令行验证是否安装成功： ```bash
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值