本地部署ollama（显存不足调用CUDA 方法）

一.ollama模型最低要求
1. Llama 3.1 (8B) 模型
GPU: 至少需要 1 张具有 16 GB 显存的 GPU（例如 NVIDIA Tesla V100 或 A100）。
CPU: 高性能的多核处理器（例如 Intel Xeon 或 AMD Ryzen）。
内存: 最少 32 GB 的系统内存。
存储: 需要大约 4.7 GB 的存储空间用于模型文件。
2. Llama 3.1 (70B) 模型
GPU: 至少需要 4 张具有 40 GB 或更高显存的 GPU（例如 NVIDIA A100 或 H100）。可以采用分布式计算方式来处理。
CPU: 高性能的多核处理器（例如 Intel Xeon 或 AMD EPYC），推荐使用多台服务器。
内存: 至少 256 GB 的系统内存。
存储: 需要大约 96 GB 的存储空间用于模型文件，建议使用高速 SSD。
3. Llama 3.1 (405B) 模型
GPU: 需要大规模的 GPU 集群，通常包括数十张具有 80 GB 或更多显存的 GPU（例如 NVIDIA A100 或 H100）。需要专门的硬件配置和高性能计算设施。
CPU: 高性能的多核处理器（例如 Intel Xeon 或 AMD EPYC），并且需要多个处理节点来支持分布式计算。
内存: 至少 1 TB 或更多的系统内存。
存储: 需要几百 GB 到 TB 级别的存储空间，建议使用高速 SSD 或分布式存储系统。
对于我们普通人的电脑，ollama模型的部署，你至少拥有一张有显存的n系显卡，再者就是电脑内存一定要在16g及以上
我的硬件信息，有两张8g的内存，一张英伟达显存为4g的3050显卡

查看内存信息&