保姆级离线+windows环境+私有化部署大模型（一）

shishi521

已于 2024-09-11 14:27:22 修改

阅读量2.1k

点赞数 7

文章标签：语言模型 ai

于 2024-09-10 18:36:09 首次发布

本文链接：https://blog.csdn.net/shishi521/article/details/142104608

版权

说明：本次部署涉及如下内容的安装部署（均为开源）本次部署所在环境均为window。网上很多文章均未完整介绍安装过程。所以自己写了一份

安装列表	描述
Qwen2	阿里通义千问2大模型
Ollama	服务器框架软件，用来获取发布大模型

基于gis数据的高敏感高保密性要求，相信gis的小伙伴都有如下的需求：在内网，无外网环境下，部署自己的私有化大模型。

安装完成后，可以通过第二篇文章进行安装客户端。实现chatGPT式对话。

WebUI安装Ollama的webUI界面内网部署

1.环境背景：

没有Linux环境，只是windows

无外网，内网环境

2.安装部署过程：

一、Ollama下载安装
进入官网：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

shishi521

关注关注

7
点赞
踩
40

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【实战篇】【零代码也能玩转AI！手把手教你用Ollama本地部署DeepSeek（保姆级教程）】

商务合作|问题讨论|交流学习请联系作者微信，加微信请务必注明来意，博客主页有联系方式

03-19

527

创建专属文件夹编写Modelfile配置文件在文件夹内新建「Modelfile」文件（用记事本即可），写入：FROM deepseek-ai/deepseek-R1:latestPARAMETER temperature 0.7 # 控制回答创意度（0=保守，1=天马行空）PARAMETER num_ctx 4096 # 支持4K上下文记忆执行部署命令。

Ollama 企业私有化部署大模型最佳解决方案

gorgor在码农

08-21

2776

Ollama 企业私有化部署大模型最佳解决方案。Llama3 70b 性能直逼 ChatGpt-3.5 ，而Llama3 405b 的性能已超越了 ChatGpt-4o 。

2 条评论您还未登录，请先登录后发表或查看评论

【Windows纯离线环境】下部署DeepSeek大模型+本地知识库实战指南——Ollama+RAGflow全流程解析

KAi_2009的博客

02-16

4802

在大语言模型的发展如火如荼的今天，DeepSeek的开源发布使得个人，或者对于数据安全具有核心诉求的应用场景可以实现纯离线部署的方案，并可以通过与开源软件RAGflow的组合实现大模型+本地知识库的构建，并且可以支持进一步的私有化定制开发。

保姆级离线+windows环境+大模型前端UI安装（二）

shishi521的专栏

09-11

1636

Node.js 是一个开源的、跨平台的 JavaScript 运行时环境，允许开发者在服务器端运行 JavaScript 代码。默认ollama安装后，对话只有黑色命令界面，交互体验较差。借助open-webui可以通过web界面连接ollama，从而实现类似chatGPT式的web交互体验。Ollama-webUI可以直接在有网环境下安装，把相关的依赖文件下载完成，复制安装好以后的WebUI文件目录到内网环境。在内网环境，cd到WebUI的文件夹，这文件夹下，直接启动。进入Node官网下载Node，

公司内网部署离线deepseek本地模型实战

热门推荐

进一步有进一步的欢喜~

01-29

1万+

随着人工智能技术的飞速发展，各类大语言模型层出不穷。DeepSeek - R1 凭借其出色的语言理解和生成能力，受到了广泛关注。而 Ollama 作为一款便捷的模型管理和部署工具，能够帮助我们轻松地在本地环境中部署和使用模型。本文将详细介绍如何在 Windows 系统下使用 Ollama 离线部署 DeepSeek - R1 模型，并展示在 Windows CMD 窗口与 Google 浏览器插件 Page Assist 的交互案例。

ollama本地部署llama3（window系统）

Baker的博客

05-14

2352

ollama只是一个大模型的服务工具，并非大模型本体，所以只是安装ollama也并不能使用大模型，所以接下来要通过ollama下载大模型，需要注意的是，llama3分为多个版本，如果你的电脑性能一般还是安装llama3:8B的版本，除非是很好的电脑，内存64以上，GPU 3090的那种才考虑安装llama3:70B,下面是根据电脑配置推荐的安装版本。下面开始下载和安装，下载的话可以到ollama的官网去下载，有window，macOS，liunx三个版本，如下图就是下载完成，可以直接在这里提问了，

2024私有化部署开源大模型，让每个人都拥有一个私人AI助理

ytt0523_com的博客

06-25

1118

在数字化时代，人工智能技术的应用变得越来越普及，尤其是在数据处理和信息管理领域。随着深度学习技术的快速发展，各种AI模型如雨后春笋般地涌现。但对于一些涉及敏感数据和严格隐私要求的领域，如何在保护数据隐私的前提下，充分利用AI技术的强大能力，是一个难题。私有化部署的本地AI大模型因此应运而生，并成为解决这一问题的理想选择。在2024年，OLlama——一款新的、开源的私有化部署AI大模型——正引起业内的广泛关注。Ollama支持几十种不同的模型，能够满足多样化的业务需求。

本地部署开源大模型的完整教程：LangChain + Streamlit+ Llama

deephub

06-26

1万+

通过LangChain和Streamlit我们可以方便的整合任何的LLM模型，并且通过GGML我们可以将大模型运行在消费级的硬件中，这对我们个人研究来说使非常有帮助的。作者：Afaque Umer。

零基础，零成本，部署一个属于你的大模型_阿里云大模型部署

2401_85377976的博客

07-10

2543

看了那么多chatGPT的文章，作为一名不精通算法的开发，也对大模型心痒痒。但想要部署自己的大模型，且不说没有算法相关的经验了，光是大模型占用的算力资源，手头的个人电脑其实也很难独立部署。就算使用算法压缩后的大模型，部署在个人电脑上，还要忍受极端缓慢的计算速度以及与chatGPT相差甚远的模型效果。有什么办法能够部署属于我们自己的大模型呢？有编程基础：作为一个合格的程序员，这应该是必备素质。

[保姆级教程]从0开始本地大模型搭建私用知识库(第一部分：安装)

m0_71142057的博客

03-22

7961

从0开始搭建完全离线的基于大模型的本地知识库

windows下搭建ollama离线大模型服务

m0_38007743的博客

07-30

2858

Ollama是一个由Facebook AI Research开发的开源、轻量级且高效的大型语言模型（LLM）框架。它旨在使研究人员和开发人员能够更轻松地在自己的硬件上部署和运行LLM，而无需专门的云计算资源。OllamaOllama提供了一个简单直观的界面，用于加载、运行和评估LLM。它还支持各种自定义选项，允许用户根据特定需求定制LLM。

[软件工具使用记录] windows离线ollama部署本地模型并配置continue实现离线代码补全

fenfenfen520a的博客

01-08

575

qwen2.5coder发布之后，觉得差不多可以实现离线模型辅助编程了，所以尝试在公司内网部署模型，配合vsocde插件continue实现代码提示、聊天功能。目前使用qwen2.5coder的32b模型，体验上和gpt-4o差不多（都稀碎），适用于编写脚本，查一些简单问题，例如flask如何把变

win7老系统下大模型电脑pc探索版

zhaosandong的专栏

04-17

2785

很多情况下我们需要在内部网络安装windows7的老旧电脑或环境中尝试大模型的各种能力，所以制作和分享一个可以直接在脱网环境下，win7操作系统中使用的大模型尝鲜工具，供大家学习。

零基础实现大模型部署（window平台）_微软大模型小型化部署

2401_84208172的博客

07-03

1450

这是一个超详细安装教程，介绍了在 Window 电脑上如何部署 Qwen1.5 大模型。本文还涉及到 Python 及其环境的配置。适合对象：有点后端编程基础，没有 Python 基础。需要环境：Window10/11，支持 Cuda 的 Nvidia 显卡。

使用Windows安装Ollama大语言模型

Jerryqjr的博客

07-18

487

本文主要介绍如何在Windows系统快速部署Ollama开源大语言模型运行工具，并安装Open WebUI结合cpolar内网穿透软件，实现在公网环境也能访问你在本地内网搭建的大语言模型运行环境。近些年来随着ChatGPT的兴起，大语言模型 LLM（Large Language Model）也成为了人工智能AI领域的热门话题，很多大厂也都推出了自己的大语言模型，并或多或少的开源了自己的大语言模型，今天就来分享一个最近很火，且对于小白来说比较好上手本地部署的运行本地LLM的工具Ollama。

小白也可以部署私有化大模型知识库_私有化知识库

2401_84208172的博客

07-05

1058

更多实操内容，期待后续陆续输出，欢迎大家关注交流！！

从开发到部署，搭建离线私有大模型知识库

易迟的专栏

05-18

1850

最近一段时间搭建了一套完整的私有大模型知识库，目前完整的服务已经完成测试部署上线。基本之前的实践过程，从工程角度整理技术方案以及中间碰到的一些问题，方便后续对这个方向有需求的研发同学们。本文是搭建离线私有大模型知识库的一次完整实践，整理了主要的实现方案以及离线部署中碰到的一些问题，记录的版本还是一个初步验证版本，知识库的实践还需要对中间环节进行大量调优，目前存在大量的论文进行这方面的研究，个人也在持续进行多轮的迭代调优，后续会持续整理和分享中间碰到的有价值的内容，欢迎持续关注。

最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）

Y525698136的博客

08-07

1418

最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）

linux如何离线部署AnythingLLM

02-26

### Linux 系统上离线部署 AnythingLLM 的方法 #### 准备工作为了成功在Linux系统上离线部署AnythingLLM，需提前准备好所有必要的组件并将其放置在同一目录内。这包括`models`文件夹、ollama安装包以及anythingllm安装包[^2]。 #### 安装环境配置对于已经具备网络连接的初始设置阶段，可以利用在线脚本来简化首次安装过程。通过执行如下命令来获取最新的安装脚本并立即运行它： ```bash curl -fsSL https://s3.us-west-1.amazonaws.com/public.useanything.com/latest/installer.sh | sh ``` 此操作会自动下载并配置基础环境以便后续离线使用[^1]。 #### Docker 镜像处理考虑到目标机器可能处于完全隔离的状态，在源计算机上有互联网访问权限的情况下，应先将所需的Docker镜像推送至私有仓库中。具体做法是借助于docker-image-pusher工具上传官方提供的最新版本镜像到个人账户下的阿里云免费存储库： ```bash docker pull registry.cn-hangzhou.aliyuncs.com/c_c_c/anythingllm:latest ``` 完成上述步骤之后，再把整个项目打包成ISO或其他形式光盘介质用于传输给无网设备进行最终部署[^4]。 #### 执行离线安装流程当所有必需品都被转移到目标环境中后，则可以根据之前准备好的文档资料逐步实施本地化构建和服务启动等工作。一份详尽的操作手册能够极大程度减少可能出现的问题和障碍，建议参照《【保姆级教程】本地离线部署大模型Ollama+AnythingLLM》中的指导说明来进行实际动手实践[^3]。