模型部署全流程：SavedModel、TFLite、TF.js、ONNX 的导出与实战

个人简介

作者简介：全栈研发，具备端到端系统落地能力，专注大模型的压缩部署、多模态理解与 Agent 架构设计。 热爱“结构”与“秩序”，相信复杂系统背后总有简洁可控的可能。
我叫观熵。不是在控熵，就是在观测熵的流动
个人主页：观熵
个人邮箱：privatexxxx@163.com
座右铭：愿科技之光，不止照亮智能，也照亮人心！

专栏导航

观熵系列专栏导航：
AI前沿探索：从大模型进化、多模态交互、AIGC内容生成，到AI在行业中的落地应用，我们将深入剖析最前沿的AI技术，分享实用的开发经验，并探讨AI未来的发展趋势
AI开源框架实战：面向 AI 工程师的大模型框架实战指南，覆盖训练、推理、部署与评估的全链路最佳实践
计算机视觉：聚焦计算机视觉前沿技术，涵盖图像识别、目标检测、自动驾驶、医疗影像等领域的最新进展和应用案例
国产大模型部署实战：持续更新的国产开源大模型部署实战教程，覆盖从 模型选型 → 环境配置 → 本地推理 → API封装 → 高性能部署 → 多模型管理 的完整全流程
TensorFlow 全栈实战：从建模到部署：覆盖模型构建、训练优化、跨平台部署与工程交付，帮助开发者掌握从原型到上线的完整 AI 开发流程
PyTorch 全栈实战专栏： PyTorch 框架的全栈实战应用，涵盖从模型训练、优化、部署到维护的完整流程
深入理解 TensorRT：深入解析 TensorRT 的核心机制与部署实践，助力构建高性能 AI 推理系统
Megatron-LM 实战笔记：聚焦于 Megatron-LM 框架的实战应用，涵盖从预训练、微调到部署的全流程
AI Agent：系统学习并亲手构建一个完整的 AI Agent 系统，从基础理论、算法实战、框架应用，到私有部署、多端集成
DeepSeek 实战与解析：聚焦 DeepSeek 系列模型原理解析与实战应用，涵盖部署、推理、微调与多场景集成，助你高效上手国产大模型
端侧大模型：聚焦大模型在移动设备上的部署与优化，探索端侧智能的实现路径
行业大模型 · 数据全流程指南：大模型预训练数据的设计、采集、清洗与合规治理，聚焦行业场景，从需求定义到数据闭环，帮助您构建专属的智能数据基座
机器人研发全栈进阶指南：从ROS到AI智能控制：机器人系统架构、感知建图、路径规划、控制系统、AI智能决策、系统集成等核心能力模块
人工智能下的网络安全：通过实战案例和系统化方法，帮助开发者和安全工程师识别风险、构建防御机制，确保 AI 系统的稳定与安全
智能 DevOps 工厂：AI 驱动的持续交付实践：构建以 AI 为核心的智能 DevOps 平台，涵盖从 CI/CD 流水线、AIOps、MLOps 到 DevSecOps 的全流程实践。
C++学习笔记？：聚焦于现代 C++ 编程的核心概念与实践，涵盖 STL 源码剖析、内存管理、模板元编程等关键技术
AI × Quant 系统化落地实战：从数据、策略到实盘，打造全栈智能量化交易系统
大模型运营专家的Prompt修炼之路：本专栏聚焦开发 / 测试人员的实际转型路径，基于 OpenAI、DeepSeek、抖音等真实资料，拆解 从入门到专业落地的关键主题，涵盖 Prompt 编写范式、结构输出控制、模型行为评估、系统接入与 DevOps 管理。每一篇都不讲概念空话，只做实战经验沉淀，让你一步步成为真正的模型运营专家。

---

模型部署全流程：SavedModel、TFLite、TF.js、ONNX 的导出与实战

TensorFlow 的最大优势之一，就是拥有“端到端部署闭环”。从训练到导出，用户可根据目标平台灵活选择格式，部署到：

• 服务端（TF Serving / TensorRT）
• 移动端（TensorFlow Lite）
• 浏览器端（TensorFlow.js）
• 多框架跨平台（ONNX）

本章我们将覆盖四大部署格式，逐一讲清其导出方式、平台支持、转换流程，并通过完整实例演示：

---

一、SavedModel 格式：TensorFlow 的通用导出标准

✅ SavedModel 是什么？

• TensorFlow 默认导出格式，目录结构包含：

  saved_model/
    ├── assets/                # 额外文件
    ├── variables/             # 权重
    └── saved_model.pb         # Graph + Signature
  

✅ 导出 SavedModel：

model = ...  # 已训练完毕的 Keras 模型
tf.saved_model.save(model, "export/saved_model")

或者：

model.save("export/saved_model", save_format="tf")

⚠️ 注意：仅 Functional / Sequential 模型能导出结构图，子类模型导出的 call() 会被追踪为默认签名。

---

✅ 加载 & 推理：

loaded = tf.saved_model.load("export/saved_model")
infer = loaded.signatures["serving_default"]
output = infer(tf.constant([[1.0, 2.0]]))
print(output)

---

二、TFLite：移动端部署首选格式（安卓、树莓派、MCU）

TensorFlow Lite 是面向低功耗设备优化的推理格式，具备：

• 模型压缩（量化、剪枝）
• 高速执行器（NNAPI、GPU Delegate、Hexagon）
• 极小模型文件（<1MB）

---

✅ 步骤 1：转换为 TFLite

converter = tf.lite.TFLiteConverter.from_saved_model("export/saved_model")
tflite_model = converter.convert()

with open("model.tflite", "wb"