各种显卡在运行LM Studio 时，相关配置参数。

以下是使用 1060、2060、3060、4060 显卡运行 LM Studio 时，上下文长度、GPU 卸载、评估批处理大小和配置参数的示例设置数据：（仅供参考，每个机器配置不一样）

1060 显卡

参数	设置值
上下文长度 (n_ctx)	2048
GPU 卸载 (n_gpu_layers)	4
评估批处理大小 (n_batch)	512

2060 显卡

参数	设置值
上下文长度 (n_ctx)	4096
GPU 卸载 (n_gpu_layers)	8
评估批处理大小 (n_batch)	1024

3060 显卡

参数	设置值
上下文长度 (n_ctx)	8192
GPU 卸载 (n_gpu_layers)	16
评估批处理大小 (n_batch)	2048

4060 显卡

参数	设置值
上下文长度 (n_ctx)	16384
GPU 卸载 (n_gpu_layers)	32
评估批处理大小 (n_batch)	4096

说明

• 上下文长度 (n_ctx)：表示模型可以处理的最大上下文长度。较大的上下文长度可以提高模型的理解能力，但也会增加内存需求。
• GPU 卸载 (n_gpu_layers)：表示模型的多少层将被卸载到 GPU 上。较高的值可以提高性能，但需要更多的 GPU 内存。
• 评估批处理大小 (n_batch)：表示模型在评估时处理的批处理大小。较大的批处理大小可以提高吞吐量，但也会增加内存需求。
• 配置参数 (use_mlock)：表示是否使用 mlock（锁定内存）来防止模型被交换到磁盘。设置为 true 可以提高性能，但需要足够的系统 RAM。

这些设置值是示例，实际使用时可能需要根据具体的模型和系统资源进行调整。