群晖NAS的兰空图床部署以及与Typora集成

群晖NAS的兰空图床部署以及与Typora集成

1.拉取镜像

在DSM系统中创建计划任务
在这里插入图片描述
在这里插入图片描述
docker_pull.sh中写入拉取命令,可以按需求注释和切换镜像源

# docker pull docker.1panel.live/justsong/one-api:latest
# docker pull ghcr.nju.edu.cn/open-webui/open-webui:main
# docker pull docker.1panel.live/cveinnt/letsmarkdown:latest
docker pull docker.1panel.live/halcyonazure/lsky-pro-docker:latest

在计划任务中,右键执行脚本拉取镜像
在这里插入图片描述

拉取成功后镜像会出现在镜像目录中
在这里插入图片描述

2.运行镜像

创建容器,并配置目录映射和端口映射,其它项可以保持默认。

80端口在安装时没有用到,不知道是什么作用

8088端口是安装前的配置,在安装完成后失效。

8089端口是服务器端使用的,直接进行反向代理。
在这里插入图片描述

3.安装配置

浏览器输入IP:端口号即可访问安装界面
在这里插入图片描述

保持默认,下一步:

数据库连接地址:填写mySQL的服务器地址

数据库连接端口:默认3306

数据库名称:随意,与数据库对应

数据库用户名:填写有权限远程访问的用户名

数据库密码:填写对应的

管理员帐号邮箱:Lsky中用于登录的帐户

管理员密码:Lsky中用于登录的密码

在这里插入图片描述

安装成功后提示
在这里插入图片描述

安装完成后,通过IP加端口可以进行后台登录,此处端口为8089对应的端口。

4.Typora配置兰空图床

打开Typora,打开偏好设置。

在这里插入图片描述

下载完之后。打开picgo-core程序安装路径,一般是C:\Users\用户\AppData\Roaming\Typora\picgo\win64,输入cmd并回车

安装兰空插件
.\picgo.exe install lankong

在这里插入图片描述

获取兰空图床的Token

在这里插入图片描述

编辑PigGO的配置文件

删除原有内容,粘贴下面的内容。

{
  "picBed": {
    "current": "lankong",
    "lankong": {
      "lskyProVersion": "V2",
      "server": "http://ip:9080",
      "token": "Bearer 这里填写postman拿到的token",
      "strategyId": "",
      "albumId": "",
      "permission": 0,
      "ignoreCertErr": false,
      "syncDelete": true
    },
    "uploader": "lankong",
    "transformer": "path"
  },
  "picgoPlugins": {
    "picgo-plugin-lankong": true
  }
}

保存之后,检验文件上传是否好使。

在这里插入图片描述

已经可以直接粘贴图片并转链接后自动上传至图床。

<think>嗯,用户问的是如何在群晖NAS上私有化部署DeepSeek大模型。首先,我得确定DeepSeek大模型的具体情况,因为不同的模型可能有不同的部署方式。比如像LLaMA或者Alpaca这样的模型,通常需要特定的框架支持,比如Hugging Face的Transformers或者使用llama.cpp这样的工具。但用户提到的是DeepSeek,可能是一个特定的模型,我需要先确认这个模型的开源情况以及支持的推理框架。 接下来,群晖NAS的硬件配置是关键。大模型通常需要较强的GPU支持,但大多数家用群晖设备可能只有CPU,没有独立显卡。这样的话,部署像7B或13B参数的模型可能会比较吃力,推理速度会很慢。用户可能需要考虑模型量化,比如使用llama.cpp的GGUF格式,或者用Transformers的int8量化来减少内存占用。 然后是软件环境。群晖NAS通常运行的是基于Linux的系统,但可能没有直接的root访问权限,或者需要套件中心来安装软件。比如,用户可能需要通过Docker部署,因为群晖支持Docker套件。这时候需要准备一个包含CUDA支持的Docker镜像(如果有GPU的话),或者仅使用CPU的基础镜像。 另外,模型文件的获取也是一个问题。用户需要从合法的渠道下载DeepSeek的模型权重,可能需要申请权限或者遵守特定的开源协议。下载后,如何将模型文件放入NAS的存储目录,并确保Docker容器能正确访问到这些路径。 接下来是具体的部署步骤。比如,使用Docker运行一个文本生成的Web界面,比如oobabooga的text-generation-webui,或者使用简化版的llama.cpp的server。需要编写或获取相应的Dockerfile,配置端口映射,挂载卷,设置环境变量等。 可能还需要考虑性能优化,比如调整线程数、批处理大小,或者开启量化来降低资源消耗。同时,安全方面的问题,比如是否需要设置访问权限,防止NAS上的服务被外部访问。 用户可能的实际使用场景是什么?他们可能希望有一个本地化的AI助手,处理文本生成、问答或者其他任务,同时保证数据隐私。所以私有化部署是关键,确保数据不离开本地NAS。 此外,用户的技术水平可能参差不齐,所以步骤需要尽量详细,避免使用太多专业术语,或者提供不同的方法,比如使用Docker还是直接安装Python环境,或者使用现有的群晖套件(如果有的话)。 最后,验证部署是否成功,比如通过curl测试API,或者访问Web界面进行交互。同时提醒用户注意模型的硬件要求,如果NAS性能不足,可能需要升级硬件或选择更小的模型版本。</think>在群晖NAS中私有化部署大模型(如DeepSeek或其他开源模型)需要结合硬件性能、软件环境和具体模型要求。以下是一个通用部署流程,以 **CPU/GPU混合环境** 为例,针对中文场景优化: --- ### **一、准备工作** 1. **确认硬件配置** - **最低要求**:x86架构群晖(DSM 7.0+),4核CPU,8GB内存(仅支持小模型如 1.3B-7B 参数)。 - **推荐配置**:带有NVIDIA显卡的群晖(如部分XS/XS+型号),16GB+内存,SSD缓存加速。 2. **获取模型文件** - 从官方渠道下载DeepSeek模型(如Hugging Face或官方GitHub),确保格式为 `.bin` (GGML) 或 `.safetensors`。 - 若需中文优化,可选择类似`Chinese-LLaMA-Alpaca`等社区优化版本。 --- ### **二、部署方式(推荐Docker)** #### **方法1:使用`text-generation-webui`(可视化界面)** ```bash # 通过群晖Docker套件操作 1. 拉取镜像:选择`oobabooga/text-generation-webui`官方镜像。 2. 配置容器: - 挂载模型目录:`/models` ➔ NAS中的模型文件夹(如`/docker/llm/models`) - 端口映射:7860(Web UI)、5000(API) 3. 环境变量: - `CLI_ARGS=--model deepseek-7b --cpu` (纯CPU模式) - 若有GPU:`CLI_ARGS=--model deepseek-7b --auto-devices` 4. 启动后访问:http://群晖IP:7860 ``` #### **方法2:使用`llama.cpp`(轻量CPU优化)** ```bash 1. 通过SSH登录群晖,安装基础依赖: sudo apt-get update && sudo apt-get install build-essential 2. 编译llama.cpp: git clone https://github.com/ggerganov/llama.cpp cd llama.cpp && make 3. 转换模型为GGUF格式(需提前下载): python3 convert.py --input-model /path/to/deepseek --output-gguf /output/ggml-model-f16.gguf 4. 量化模型(节省内存): ./quantize ggml-model-f16.gguf ggml-model-q4_0.gguf q4_0 5. 启动API服务: ./server -m ggml-model-q4_0.gguf -c 2048 --port 8080 ``` --- ### **三、中文优化技巧** 1. **模型选择** - 优先选择已针对中文优化的模型(如`DeepSeek-Chat`或`ChatGLM3`)。 2. **提示词模板** - 使用中文系统提示词(如“你是一个由DeepSeek开发的中文AI助手”)。 3. **性能调优** - CPU模式:设置`--threads`参数为物理核心数(如4核CPU设为4)。 - GPU加速(仅限支持型号):添加`--n-gpu-layers 20`加载部分层到显卡。 --- ### **四、常见问题** - **内存不足**:尝试量化模型(如Q4_K_M)或使用更小模型(如Phi-3-mini)。 - **速度慢**:启用群晖SSD缓存,或通过API异步调用。 - **无显卡支持**:使用`llama.cpp`或`mlc-llm`等CPU优化框架。 --- ### **五、进阶方案** - **集成群晖服务**:通过反向代理(Nginx)绑定域名,搭配群晖SSL证书启用HTTPS。 - **结合本地应用**:使用Synology Drive同步模型文件,或通过Webhook对接ChatBot。 部署完成后,可通过`curl http://localhost:5000/api/v1/generate -d '{"prompt":"你好"}'`测试API,或直接在Web界面交互。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

袁鹤

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值