阿里面试官：大模型上线前为什么要做推理优化？985学妹的满分回答！

我是丁师兄，专注于智能驾驶方向大模型落地，公众号：丁师兄大模型。

大模型1v1学习，已帮助多名同学上岸国内外大厂

---

01为什么大模型上线需要做推理优化？

面试官心理分析

面试官问这个问题，其实主要是想看两点：

第一，你知不知道产品级大模型系统里为什么要用推理优化这个东西？

不少候选人，说自己项目里用了推理优化技术，但是其实他并不知道自己为什么要用这个东西。说白了就是为了用而用，或者看别人用他也用，从头到尾都没思考过。

没有对自己的设计问过为什么的人，一定是平时没有思考的人，面试官对这类候选人印象通常很不好。因为面试官担心你进了团队之后只会木头木脑的干呆活儿，没有自己的思考。

第二，你既然用了推理优化这个东西，你知不知道用了有什么好处，同时又有什么坏处？你当时做没做过调研，为什么要用它？

你要是没考虑过这个，那你盲目弄个 INT8 量化或者 INT4 量化进系统里，后面出了问题是不是就自己溜了给公司埋雷？

你别傻乎乎的自己拍脑袋看个人喜好就瞎用一个量化技术，甚至都从没调研过业界流行的低比特量化技术到底有哪几种？每一个量化技术的优点和缺点是什么？是量化权重还是量化激活，效率如何？是不是精度无损的？

如果一