大家好，我是 展菲，目前在上市企业从事人工智能项目研发管理工作，平时热衷于分享各种编程领域的软硬技能知识以及前沿技术，包括iOS、前端、Harmony OS、Java、Python等方向。在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。
图书作者：《ESP32-C3 物联网工程开发实战》
图书作者：《SwiftUI 入门，进阶与实战》
超级个体：COC上海社区主理人
特约讲师：大学讲师，谷歌亚马逊分享嘉宾
科技博主：华为HDE/HDG
我的博客内容涵盖广泛，主要分享技术教程、Bug解决方案、开发工具使用、前沿科技资讯、产品评测与使用体验。我特别关注云服务产品评测、AI 产品对比、开发板性能测试以及技术报告，同时也会提供产品优缺点分析、横向对比，并分享技术沙龙与行业大会的参会体验。我的目标是为读者提供有深度、有实用价值的技术洞察与分析。
展菲：您的前沿技术领航员
👋 大家好，我是展菲！
📱 全网搜索“展菲”，即可纵览我在各大平台的知识足迹。
📣 公众号“Swift社区”，每周定时推送干货满满的技术长文，从新兴框架的剖析到运维实战的复盘，助您技术进阶之路畅通无阻。
💬 微信端添加好友“fzhanfei”，与我直接交流，不管是项目瓶颈的求助，还是行业趋势的探讨，随时畅所欲言。
📅 最新动态：2025 年 3 月 17 日
快来加入技术社区，一起挖掘技术的无限潜能，携手迈向数字化新征程！
文章目录
摘要
大模型部署后最头疼的问题是什么？没错，就是——推理太慢，占资源！DeepSeek 虽然能力强大，但如果不做任何优化，线上跑起来像开“坦克”。这篇文章就来聊聊几种常见又实用的推理优化策略，比如量化、剪枝、缓存等，配上实战代码，让你轻轻松松提升速度、降低成本！
引言
你可能有过类似体验：模型部署上去了，结果响应慢得要命；用户提个问，等半天才返回结果；本地推理倒还行，一上云资源就不够用了。
大模型本身计算量就大，尤其是 Transformer 系结构，哪怕只跑个前向推理，显存照样爆表。再加上多用户并发请求，一不注意就变成“卡顿现场”。
所以，搞点优化是很有必要的——不仅能加快响应，还能节省资源，少花钱多办事！
几种实用的推理优化思路
量化（Quantization）
简单理解，量化就是把模型的权重从原来的 float32 降低精度，比如变成 int8 或者 float16。这样做可以极大减少显存和计算量。
# 安装 bitsandbytes 做 int8 量化支持
pip install bitsandbytes
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
model_id = "deepseek-ai/deepseek-coder-1.3b-base"
quant_config = BitsAndBytesConfig(load_in_8bit=True)
model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=quant_config, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_id)
适合场景：GPU 资源紧张 or 多模型并发部署场景。
剪枝（Pruning）：裁掉“没用的脑回路”
很多模型参数其实在实际推理中起不到关键作用，我们可以通过剪枝把这些“低权重连接”裁掉，减少计算量。
from optimum.pytorch import pruning
# 假设已经加载好模型
model = pruning.prune_model(model, pruning_method="l1_unstructured", amount=0.2)
注意：剪枝之后需要微调，不然模型性能可能会掉太多。
缓存机制（KV Cache）：别重复劳动
做生成任务时，其实很多计算是可以复用的。尤其是在多轮对话或长文本生成中，开启 KV 缓存就非常划算。
outputs = model.generate(
input_ids=input_ids,
use_cache=True,
max_new_tokens=100
)
适合场景：文本生成、对话机器人等使用频繁的前缀复用场景。
一个“降本增效”的小 Demo
我们以 DeepSeek 的 1.3B 模型为例，展示如何加载量化模型 + KV 缓存开启的完整流程。
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
model_id = "deepseek-ai/deepseek-coder-1.3b-base"
quant_config = BitsAndBytesConfig(load_in_8bit=True)
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=quant_config, device_map="auto")
input_text = "用 Python 写一个快速排序"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.cuda()
# 开启缓存推理
outputs = model.generate(input_ids=input_ids, use_cache=True, max_new_tokens=64)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
常见 QA 环节
Q：模型被量化之后，精度会下降吗？
A：会有一些精度下降，尤其是 int8 量化，但一般控制在可接受范围内，尤其是问答和对话任务。
Q：剪枝之后不训练就能用吗？
A：建议重新微调模型，不然可能会性能掉得比较多。
Q：量化和剪枝能一起用吗？
A：当然可以，一般建议剪枝后再量化，效果更好。
总结
优化大模型推理，其实就是“该裁裁、该省省、该记记”。量化、剪枝、缓存，这三板斧一抡下去，不仅跑得更快，还能省下不少显存和算力。
如果你正在部署 DeepSeek，或者任何类似的语言模型，建议优先试试量化 + 缓存，见效最快。剪枝可以作为进一步的压缩手段，后续再微调。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
