【deepseek本地部署】动手搭建自己的大模型Ollama 部署和实战

已于 2025-02-07 17:22:45 修改
阅读量690 收藏 1
点赞数 1
文章标签： linux 运维
于 2024-08-20 13:39:44 首次发布
原文链接：https://www.53ai.com/news/LargeLanguageModel/2024081317230.html
版权

动手搭建自己的大模型Ollama 部署和实战

转自：https://www.53ai.com/news/LargeLanguageModel/2024081317230.html
本文只验证搭建，后续的内容可以查看上面的url参照原文继续学习

1. 部署

1.1 Mac & Windows

相对简单，根据你电脑的不同操作系统，下载对应的客户端软件，并安装：

  • macOS：https://ollama.com/download/Ollama-darwin.zip

  • Windows：https://ollama.com/download/OllamaSetup.exe

1.2 Linux

推荐大家使用 Linux 服务器进行部署，毕竟大模型的对机器配置还是有一定要求。

裸机部署

step 1: 下载 & 安装

命令行一键下载和安装：

curl -fsSL https://ollama.com/install.sh | sh

如果没有报错，它会提示你 ollama 的默认配置文件地址：/etc/systemd/system/ollama.service

>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 CLI
######################################################################################################### 100.0%######################################################################################################### 100.0%
>>> Making ollama accessible in the PATH in /usr/local/bin
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.

如果报错了：

类似下面的问题：

[root@localhost ~]# curl -fsSL https://ollama.com/install.sh | sh
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 CLI
curl: (60) SSL certificate problem: certificate is not yet valid                                               
More details here: https://curl.haxx.se/docs/sslcerts.html

curl failed to verify the legitimacy of the server and therefore could not
establish a secure connection to it. To learn more about this situation and
how to fix it, please visit the web page mentioned 
above.

# 遇到这个问题，是证书存在异常，但具体的原因，应该是你系统的时间与真实时间存在较大差距
# 手动修改linux系统时间后，再次执行命令，即可完成操作安装。

接下来，我们采用如下命令查看下服务状态， running 就没问题了：

[root@localhost ~]# systemctl status ollama
● ollama.service - Ollama Service
   Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: disabled)
   Active: active (running) since Fri 2024-07-26 14:31:03 CST; 3min 17s ago
 Main PID: 3689 (ollama)
    Tasks: 12
   Memory: 1.2G
   CGroup: /system.slice/ollama.service
           └─3689 /usr/local/bin/ollama serve

7月 26 14:31:03 localhost.localdomain ollama[3689]: ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAINpRgt9Dt/M6AzjxJxER5Nc>
7月 26 14:31:03 localhost.localdomain ollama[3689]: 2024/07/26 14:31:03 routes.go:1125: INFO server config env=>
7月 26 14:31:03 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:03.342+08:00 level=INFO source=images>
7月 26 14:31:03 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:03.342+08:00 level=INFO source=images>
7月 26 14:31:03 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:03.342+08:00 level=INFO source=routes>
7月 26 14:31:03 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:03.343+08:00 level=INFO source=payloa>
7月 26 14:31:10 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:10.054+08:00 level=INFO source=payloa>
7月 26 14:31:10 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:10.054+08:00 level=INFO source=gpu.go>
7月 26 14:31:10 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:10.253+08:00 level=INFO source=gpu.go>
7月 26 14:31:10 localhost.localdomain ollama[3689]: time=2024-07-26T14:31:10.253+08:00 level=INFO source=types.>

查看是否安装成功，出现版本号说明安装成功：

[root@localhost ~]# ollama -v
ollama version is 0.3.6

step 2: 服务启动

浏览器中打开：http://127.0.0.1:11434/，如果出现 Ollama is running，说明服务已经成功运行。

[root@localhost ~]# curl http://127.0.0.1:11434
Ollama is running

## 安装后，默认监听的端口只允许本机访问,下面的配置可以修改
[root@localhost ~]#  netstat -anlp| grep 11434
tcp        0      0 127.0.0.1:11434         0.0.0.0:*               LISTEN      3689/ollama

step 3: 修改配置（可选）
如果有个性化需求，需要修改默认配置：

配置文件在：/etc/systemd/system/ollama.service，采用任意编辑器打开，推荐 vim

  1. 默认只能本地访问，如果需要局域网内其他机器也能访问（比如嵌入式设别要访问本地电脑），需要对 HOST 进行配置，开启监听任何来源IP
[Service]  
Environment="OLLAMA_HOST=0.0.0.0"
  1. 如果需要更改模型存放位置，方便管理，需要对 OLLAMA_MODELS 进行配置：
[Service] 
Environment="OLLAMA_MODELS=/data/ollama/models"

不同操作系统，模型默认存放在：

macOS: ~/.ollama/models Linux: /usr/share/ollama/.ollama/models Windows: C:\Users\xxx\.ollama\models

  1. 如果有多张 GPU，可以对 CUDA_VISIBLE_DEVICES 配置，指定运行的 GPU，默认使用多卡。
Environment="CUDA_VISIBLE_DEVICES=0,1"

4.配置修改后，需要重启 ollama

[root@localhost ~]# systemctl daemon-reload   
[root@localhost ~]# systemctl restart ollama

注意：上面两条指令通常需要同时使用：只要你修改了任意服务的配置文件（如 .service 文件），都需要运行systemctl daemon-reload使更改生效。

重启后的端口，局域网内是可以访问的

[root@localhost ~]#  netstat -anlp| grep 11434
tcp6       0      0 :::11434                :::*                    LISTEN      3858/ollama
Docker 部署

我们也介绍下 Docker 部署，无需配置各种环境，相对小白来说，更加友好。

step 1: 一键安装

如果是一台没有 GPU 的轻量级服务器：

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama

简单介绍下这个命令的参数：

  • docker run：用于创建并启动一个新的 Docker 容器。

  • -d：表示以分离模式（后台）运行容器。

  • -v ollama:/root/.ollama：将宿主机上的 ollama 目录挂载到容器内的 /root/.ollama 目录，便于数据持久化。

  • -p 11434:11434：将宿主机的 11434 端口映射到容器的 11434 端口，使外部可以访问容器服务。

  • –name ollama：为新创建的容器指定一个名称为 ollama，便于后续管理。

  • –restart always：容器在退出时自动重启，无论是因为错误还是手动停止。

  • ollama/ollama：指定要使用的 Docker 镜像，这里是 ollama 镜像。

宿主机上的数据卷 volume 通常在 /var/lib/docker/volumes/，可以采用如下命令进行查看：

[root@instance-20240702-1632 ~]# docker volume ls DRIVER    VOLUME NAME local     dockers_postgres-data local     ollama local     open-webui [root@instance-20240702-1632 ~]# ls /var/lib/docker/volumes/ backingFsBlockDev  dockers_postgres-data  metadata.db  ollama  open-webui

如果拥有 Nvidia-GPU：

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

安装成功后，注意要给服务器打开 11434 端口的防火墙，然后浏览器打开 http://127.0.0.1:11434/，如果出现 Ollama is running，说明服务已经成功运行。

curl http://127.0.0.1:11434/

step 2: 进入容器

如何进入容器中执行指令呢？

docker exec -it ollama /bin/bash

参数说明：

  • exec：在运行中的容器中执行命令。

  • -it：表示以交互模式运行，并分配一个伪终端。

  • ollama：容器的名称。

  • /bin/bash：要执行的命令，这里是打开一个 Bash shell。

执行后，你将进入容器的命令行，和你本地机器上使用没有任何区别。

如果不想进入容器，当然也可以参考如下指令，一键运行容器中的模型：

docker exec -it ollama ollama run qwen2:0.5b

如果一段时间内没有请求，模型会自动下线。

2. 使用

2.1 Ollama 常用命令

Ollama 都有哪些指令？

终端输入 ollama：

Usage:     ollama [flags]     ollama [command]      Available Commands:     serve       Start ollama     create      Create a model from a Modelfile     show        Show information for a model     run         Run a model     pull        Pull a model from a registry     push        Push a model to a registry     list        List models     ps          List running models     cp          Copy a model     rm          Remove a model     help        Help about any command      Flags:     -h, --help      help for ollama     -v, --version   Show version information      Use "ollama [command] --help" for more information about a command.

我们翻译过来，和 docker 命令非常类似：

ollama serve # 启动ollama   
ollama create # 从模型文件创建模型   
ollama show  # 显示模型信息   
ollama run  # 运行模型，会先自动下载模型   
ollama pull  # 从注册仓库中拉取模型   
ollama push  # 将模型推送到注册仓库  
ollama list  # 列出已下载模型   
ollama ps  # 列出正在运行的模型   
ollama cp  # 复制模型   
ollama rm  # 删除模型

2.2 Ollama 模型库

类似 Docker 托管镜像的 Docker Hub，Ollama 也有个 Library 托管支持的大模型。

传送门：https://ollama.com/library

从0.5B 到 236B，各种模型应有尽有，大家可以根据自己的机器配置，选用合适的模型
在这里插入图片描述

同时，官方也贴心地给出了不同 RAM 推荐的模型大小，以及命令：

在这里插入图片描述

注：至少确保，8GB的 RAM 用于运行 7B 模型，16GB 用于运行 13B 模型，32GB 用于运行 33B 模型。这些模型需经过量化。

因为我的是一台没有 GPU 的轻量级服务器，所以跑一个 0.5B 的 qwen 模型，给大家做下演示：

[root@localhost ~]# ollama run qwen2:0.5b
pulling manifest 
pulling 8de95da68dc4... 100% ▕████████████████████████████████████████████████▏ 352 MB                         
pulling 62fbfd9ed093... 100% ▕████████████████████████████████████████████████▏  182 B                         
pulling c156170b718e... 100% ▕████████████████████████████████████████████████▏  11 KB                         
pulling f02dd72bb242... 100% ▕████████████████████████████████████████████████▏   59 B                         
pulling 2184ab82477b... 100% ▕████████████████████████████████████████████████▏  488 B                         
verifying sha256 digest 
writing manifest 
removing any unused layers 
success 
>>> 你是谁   
我是来自阿里云的超大规模语言模型——通义千问。我能够理解、生产、传播各种语言和文字，可以回答您在任   何语言或任何问题的问题。      
>>> Send a message (/? for help)

退出方法

如果不想使用大模型，要退出的话，执行Ctrl + d快捷键或者/bye即可

    >>> Use Ctrl + d or /bye to exit.
zclinux_
关注
『AI大模型』Ollama、DeepSeek 和 Cherry Studio 本地知识库搭建实战指南
老陈聊架构
03-09 1145
深入探讨如何利用 Ollama、DeepSeek 和 Cherry Studio 搭建本地知识库，从技术原理到实践步骤，再到优化策略，全方位呈现知识库构建的精髓，助你在本地数据管理与检索领域实现技术突破，打造高效、智能的企业级知识管理解决方案。
【大模型实战】0代码搭建DeepSeek本地知识库，打造专属智能助手
知识靠谱的博客
02-05 2240
0代码基于DeepSeek-R1搭建本地知识库，打造个人专属智能助手
如何自己构建 Ollama 模型
engchina的专栏
03-23 9899
如何自己构建 Ollama 模型
【大模型】动手搭建自己的大模型Ollama 部署和实战
小白鸽i的博客
08-20 242
【大模型】动手搭建自己的大模型Ollama 部署和实战
Ollama 部署指南（Windows）
JohnChen(Net)
02-21 1435
Ollama 安装不需要 Administrator，默认情况下安装在您的主目录中。安装 Ollama 后，您将需要额外的空间来存储大型语言模型，其大小可能为数十到数百 GB。如果您的主目录没有足够的空间，您可以更改二进制文件的安装位置和模型的存储位置。Ollama 使用 unicode 字符进行进度指示，在 Windows 10 中，这些字符可能会在某些较旧的终端字体中呈现为未知方块。它安装在您的帐户中，不需要管理员权限。要更改 Ollama 存储下载模型的位置而不是使用您的主目录，请设置环境变量。
手把手！从头构建LLaMA3大模型（Python）
2301_76225313的博客
06-14 720
虽然是练习，但既然打着复现工作的名头，还是来简要回顾一下原工作究竟做了什么吧。原工作探索的问题是语言模型（LM）在文本连贯性上的表现。像早期的一些语言模型如 GPT-2，即使在一些 Common Craw 这样的语料库上大量预训练后，也很难生成长的、连贯的文本。比如前几年有一种 AI 玩具类型是做文本续写，例如彩云小梦，可以写写作文、小说什么的，如果大家玩过就知道效果其实一言难尽，和今天的大模型完全没法比，其实这就是 GPT-2 level 的续写能力。
Ollama| 搭建本地大模型，最简单的方法！效果直逼GPT
python1222_的博客
05-25 4633
开源免费：Ollama是一个不收费的开源工具。即插即用：它提供了预装好的大模型，免除了复杂的安装和下载流程。用户友好：即便没有任何技术背景，Ollama也易于上手和使用。跨平台兼容性：Ollama支持各种设备，包括PC、Mac甚至是树莓派。运行各种规模的模型，保证了出色的扩展性。
Ollama实现开源大模型本地化安装部署
wangjye99的博客
04-13 3697
本文讲述如何使用ollama实现开源大模型本地化部署，包括ollama和open-webui的安装、大模型的选择和安装、模型测试，以及优化方法。本地化部署允许用户自定义模型，并通过人工标注数据进行微调和强化学习，以提升模型表现。
Windows本地部署DeepSeek-R1大模型实战：基于Ollama的极简指南
TKang8912的博客
02-03 5825
准备训练数据（JSONL格式）{"text": "<用户指令>优化客服话术</指令><响应>..."}# 启动微调部署效果评估响应速度：CPU模式约15 tokens/s，RTX4090可达85 tokens/s内存占用：7B量化版约5.8GB，完整版需18GB知识截止：2023年10月（可通过微调更新）最佳实践建议日常使用选择4-bit量化版本复杂任务启用GPU加速长期运行建议配置为Windows服务敏感业务数据启用TLS加密传输。
实战本地部署DeepSeek和RAG，构建自己专属知识库
m0_62878167的博客
02-14 1017
在“RAG设置”项，将“文本嵌入模型”改为“nomic-embed-text”并保存，此时，我们本地的RAG支持也配置好了，可以开始构建自己的专属知识库了。但是想要支持RAG，还需安装其他的组件，按照RAG的原理和机制，还需要在本地部署一个嵌入模型。DeepSeek-V3和DeepSeek-R1都是非常优秀的国产大模型，如果需要在本地部署，则需要借助Ollama。在DeepSeek-R1中，可以看到有1.5b、7b、8b、14b、32b、70b、671b这几种规模大小的模型下载。
【实战AI】利用deepseek 在mac本地部署搭建个人知识库
东方鲤鱼 博客
02-11 1287
之前的文章中实现了本地通过ollma 部署deepseek R1：14b 模型，这里我想继续实现个人知识库，方便自己文档，数据的检索；
ollama安装包-windows
07-15
ollama安装包-windows
ESP8266加LED做一个闪光灯
weixin_45442198的博客
06-25 2496
代码如下（示例）：/* 文件名称：blink.ino 功能：ESP8266闪灯示例*/ #define PIN_LED 5 //5是端口D1 #define KEY_FLASH 13void setup() { //设置PINLED为输出模式 pinMode(PIN_LED, OUTPUT); //初始关闭LED灯 di
Windows下载安装Ollama本地运行大模型，新手详细
热门推荐
changyana的博客
11-07 2万+
下载安装Ollama并运行大模型教程，进行系统环境变量配置，新手详细。
ollama快速部署llama3
KQe397773106的博客
04-28 2万+
ollama快速部署llama3
Ollama本地部署私有大模型
shyc126的专栏
11-10 3111
官方操作文档：https://ollama.fan/getting-started/import/#importing-pytorch-safetensors。访问ollama的官网https://ollama.com/，点击【Download】 选择对应的操作系统，我下载的是OllamaSetup.exe。访问 http://127.0.0.1:8080/ ，自助注册账户后，即可在页面上选择模型进行对话。可以去https://ollama.com/ 搜索需要查找的大模型，找到后复制。
第二十四篇-Ollama-在线安装
木卫二号的专栏
04-27 2667
ollama-在线安装，运行速度相当不错。
支持多平台，无需GPU！仅需8G内存即可部署运行大模型
fangfengzhen115的专栏
03-06 2645
支持多平台，无需GPU！仅需8G内存即可部署运行大模型
windows环境Ollama部署Llama3中文并调优
迪之的博客
10-17 1146
BF16也是16位的，但它在表示数的方式上和FP16不同，特别是它用更多的位来表示数的大小（指数部分），这让它在处理大范围数值时更加稳定。​ 这种方法的优点是，它可以在保持大部分预训练模型权重不变的情况下，通过调整相对较少的参数来实现快速有效的微调。微调预训练模型：当使用已经预训练好的模型（如在特定任务上微调BERT）时，通常使用非常小的学习率（例如5e-5或更小），这是因为预训练模型已经非常接近优化目标，我们只需要做一些轻微的调整。在深度学习中，我们可以选择不同的数值精度来进行模型的训练和计算。
deepseek本地部署后高效使用实战
最新发布
02-25
### DeepSeek 本地部署后的高效使用实战教程 #### 一、理解DeepSeek的核心功能与优势 为了更好地利用DeepSeek，在深入探讨具体操作之前，有必要先了解该工具的特点及其在AI领域的地位。作为一款性价比极高的开源大模型，DeepSeek不仅具备强大的计算能力，还拥有活跃的社区支持和丰富的应用场景[^1]。 #### 二、配置开发环境 确保计算机已安装必要的依赖项，如Python解释器及相关库文件。对于Windows用户来说，可以借助Ollama简化整个过程——它提供了图形界面引导式的安装向导以及详细的文档说明来帮助完成软件包的选择与设置工作[^2]。 #### 三、初始化项目结构 创建一个新的工程目录用于存放所有的源码文件，并按照标准模式划分不同类型的资源（例如训练集、测试集）。这有助于保持项目的整洁有序并便于后续维护升级。 ```bash mkdir my_deepseek_project cd my_deepseek_project tree . . ├── data │ ├── train.csv │ └── test.csv └── src └── main.py ``` #### 四、加载预训练模型 下载官方发布的最新版本权重参数文件至本地磁盘；接着编写简单的脚本来读取这些数据并将其应用于自定义的任务当中去。这里给出一段基于PyTorch框架实现的例子： ```python import torch from transformers import AutoModelForSequenceClassification, AutoTokenizer model_name = "deepseek-model" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name) def predict(text): inputs = tokenizer(text, return_tensors="pt") outputs = model(**inputs) logits = outputs.logits prediction = torch.argmax(logits).item() return ["negative", "positive"][prediction] print(predict("This is an example sentence.")) # 输出预测类别 ``` #### 五、优化性能表现 针对特定硬件条件调整超参数设定，比如批处理大小(batch size)、学习率(learning rate)，甚至考虑采用混合精度(half precision)运算方式加速收敛速度而不影响最终效果。另外还可以探索缓存机制以减少重复计算带来的开销，提高整体效率。关于这一点可参考有关Redis versus Memcached的文章获取更多细节[^4]。 #### 六、构建API接口服务于外部调用者 为了让其他应用程序能够方便地访问内部算法逻辑，通常会搭建RESTful风格的服务端点供第三方集成对接。下面是一个Flask微服务示例程序片段展示如何做到这点: ```python from flask import Flask, request, jsonify app = Flask(__name__) @app.route('/predict', methods=['POST']) def api_predict(): content_type = 'application/json' text = request.json.get('text') result = {"label": str(predict(text))} response = app.response_class( response=json.dumps(result), status=200, mimetype='application/json' ) return response if __name__ == '__main__': app.run(host='localhost', port=8080) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值