- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 老爷级超微6049GP-TRT 服务器多 GPU跨代架构 NVIDIA 驱动、CUDA 与 NCCL 的环境搭建测试
服务器硬件主板：Supermicro X11DPG-OT-CPU（双路 Intel Xeon，NUMA 架构）GPU：2 × NVIDIA GeForce RTX 3090 24GB （Bus ID: 1b, 40）1 × NVIDIA RTX A4000 16GB （Bus ID: 8c）1 × Tesla V100-PCIE-32GB （Bus ID: b2）操作系统Ubuntu 24.04 Server屏蔽开源驱动 nouveaubashecho "blacklist nouveau&qu
2026-06-19 22:35:32
336
1
原创 Claude Desktop 连接本地 LLM（llama.cpp + LiteLLM）部署
本文详细介绍了在Windows和Ubuntu环境下，通过Claude Desktop客户端连接本地Llama.cpp模型服务的完整部署方案。核心架构包括：1）Windows端通过端口转发将Claude Desktop的请求转发至Ubuntu服务器；2）Ubuntu端运行Llama.cpp模型服务（适配4×3090 GPU）和LiteLLM网关（禁用数据库功能）。关键步骤涵盖环境配置、服务部署、端口转发设置和连接验证，并提供了常见问题解决方法。该方案充分利用现有硬件资源，实现了Claude Desktop与本
2026-06-17 03:35:15
427
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人