百元显卡 P106 “大战” DeepSeek R1 7B/8B 大模型

qq_25467441

已于 2025-02-18 16:03:46 修改

阅读量377

点赞数 3

文章标签：深度学习

于 2025-02-18 10:21:59 首次发布

本文链接：https://blog.csdn.net/qq_25467441/article/details/145699314

版权

百元显卡 P106 “大战” DeepSeek R1 7B/8B 大模型_p106-100 deepseek-CSDN博客

 DeepSeek 通过 API 对接第三方客户端告别“服务器繁忙”_平台 2000 万 tokens 特指 qwen2.5-14b-instruct 模型单价下的数量,-CSDN博客

模型服务 Ollama 模型 deepseek 什么关系

Ollama 是一个开源的大模型服务工具，允许用户在本地启动并运行大型语言模型。DeepSeek 是一款开源的大模型。二者关系如下：

部署与运行关系：Ollama 可用于在本地部署和运行 DeepSeek 模型。通过 Ollama，用户无需编写大量代码，就能在本地环境启动 DeepSeek 模型进行推理等操作，并且 Ollama 可根据电脑配置自动选择使用 CPU 或 GPU 运行模型。
生态与支持关系：Ollama 支持多种先进的语言模型，DeepSeek 是其支持运行的模型之一。Ollama 为 DeepSeek 模型提供了一个便捷的本地化运行平台，有助于扩大 DeepSeek 模型的使用场景和用户群体，比如在一些对网络连接要求高或有数据隐私需求的场景下，用户可通过 Ollama 在本地使用 DeepSeek 模型

哪种大语言模型量化方式最适合你？Q4KS还是Q4KM？

https://www.imooc.com/article/359093

下载Qwen1.5-72B-Chat_GGUF模型时，发现其提供了8种不同的 GGUF模型。它们遵循特定的命名约定：“q”+ 用于存储权重的位数（精度）+ 特定变体。

下图是为了证明不同的模型质量，按照 llama.cpp 在wiki测试集上评估他们的困惑度。结果如下:

在这里插入图片描述

    q8_0：与浮点数16几乎无法区分。资源使用率高，速度慢。不建议大多数用户使用。
    q6_k：将Q8_K用于所有张量。
    q5_k_m：将 Q6_K 用于一半的 attention.wv 和 feed_forward.w2 张量，否则Q5_K。
    q5_0：原始量化方法，5位。精度更高，资源使用率更高，推理速度更慢。
    q4_k_m：将 Q6_K 用于一半的 attention.wv 和 feed_forward.w2 张量，否则Q4_K
    q4_0：原始量化方法，4 位。
    q3_k_m：将 Q4_K 用于 attention.wv、attention.wo 和 feed_forward.w2 张量，否则Q3_K
    q2_k：将 Q4_K 用于 attention.vw 和 feed_forward.w2 张量，Q2_K用于其他张量。

根据经验，建议使用 Q5_K_M，因为它保留了模型的大部分性能。或者，如果要节省一些内存，可以使用 Q4_K_M。
内容参考：https://blog.csdn.net/znsoft/article/details/134939795
————————————————

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

原文链接：https://blog.csdn.net/weixin_44455388/article/details/136500170