Deepseek本地部署指南：在linux服务器部署，在mac远程web-ui访问

Deepseek本地部署，特别是在Linux服务器上部署并在Mac上实现远程Web-UI访问，可以按照以下步骤进行：

一、Linux服务器上部署Deepseek

1. 安装Ollama

   • 使用以下命令安装Ollama：curl -sSfL https://ollama.com/install.sh | sh。
   • 安装完成后，通过命令ollama --version验证Ollama是否安装成功。

2. 下载Deepseek模型

   • 使用命令ollama run deepseek-r1:32b下载并启动DeepSeek R1 32B模型。请注意，还有其他参数大小的模型可供选择，如7B、70B等，根据硬件资源选择适合的模型。

3. 配置Ollama服务

   • 设置Ollama服务配置，使其能够监听所有网络接口，从而允许远程访问。
   • 编辑/etc/systemd/system/ollama.service文件，添加或修改以下内容：

   [Unit]
   Description=Ollama Service
   After=network-online.target
   
   [Service]
   ExecStart=/usr/local/bin/ollama serve
   User=ollama
   Group=ollama
   Restart=always
   RestartSec=3
   Environment="OLLAMA_HOST=0.0.0.0"
   Environment="PATH=/usr/local/cuda/bin:/your/custom/path/bin:/usr/sbin:/usr/bin:/sbin:/bin"
   
   [Install]
   WantedBy=default.target

    

   注意：将/your/custom/path/bin替换为实际的PATH环境变量内容。

   • 重新加载并重启Ollama服务：

   sudo systemctl daemon-reload
   sudo systemctl restart ollama

    
   • 验证Ollama服务是否正常运行，确保它正在监听所有网络接口。

4. 配置防火墙

   • 配置防火墙以允许通过端口11434的流量。使用以下命令：

   sudo ufw allow 11434/tcp
   sudo ufw reload

    
   • 检查防火墙状态，确保端口11434已开放。

二、在Mac上实现远程Web-UI访问

1. 测试对Ollama服务的访问

   • 在Mac上打开终端，运行以下命令以测试对Ollama服务的连接：

   curl http://<Linux服务器IP>:11434/api/version

   应显示Ollama的版本号，表明连接成功。

2. 使用Web-UI插件进行远程访问

   • 为了更方便地进行远程访问和调用Deepseek模型，可以使用浏览器的Page Assist Web UI插件。
   • 在Chrome或Firefox浏览器中添加Page Assist Web UI拓展程序。
   • 进入Page Assist Web UI的设置，填写Ollama URL为http://<Linux服务器IP>:11434，并保存。
   • 在RAG设置中选择部署好的Deepseek模型并保存，即可随时实现远程访问和调用。

三、注意事项

1. 硬件资源

   • 根据所选Deepseek模型的参数大小，确保Linux服务器具有足够的硬件资源，如CPU、内存和显存。

2. 安全性

   • 为了确保安全性，建议对Ollama服务进行访问控制，如使用HTTPS协议、设置防火墙规则等。

3. 备份与恢复

   • 定期备份Deepseek模型和Ollama服务的数据，以防数据丢失或损坏。

4. 故障排查

   • 如果遇到任何问题，可以查阅Ollama和Deepseek的官方文档或社区论坛进行故障排查和解决。

通过以上步骤，您可以在Linux服务器上成功部署Deepseek模型，并在Mac上实现远程Web-UI访问。