基础篇| 全网最全详解12个大模型推理框架

01 什么是框架?

开始介绍之前, 我们先了解一下什么是框架?xx框架-IT人经常听到的名词。但是又有多少人知道框架的意思?

框架（framework）是一个框子:指其约束性，也是一个架子——指其支撑性。是一个基本概念上的结构，用于去解决或者处理复杂的问题。在IT软件领域，软件框架（software framework）的标准定义：通常指的是为了实现某个业界标准或完成特定基本任务的软件组件规范，也指为了实现某个软件组件规范时，提供规范所要求之基础功能的软件产品。

简而言之，框架其实就是某种应用的半成品，就是一组组件，开发可以基于框架已有的规范和标准，快速实现自己的需求，让开发者聚焦业务领域代码。

常见的Java后端框架：Mybatis、Spring、SpringMVC、SpringBoot。前端框架有：Bootstrap、jQuery、Vue、React。这些框架无一另外都是让开发者快速开发业务逻辑。按照框架规范，定义自己业务参数。

02 为什么需要大模型推理框架

之前介绍过《