为什么有边缘端部署，方案怎么选？

1、边缘计算设备

边缘计算设备，是相对于云计算而言的。不同于云计算的中心式服务，边缘服务是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。其应用程序在边缘侧发起，为了产生更快的网络服务响应。满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。由于数据处理和分析，是在传感器附近或设备产生数据的位置进行的，因此称之为边缘计算。

2 、为什么用边缘计算设备

边缘计算具有实时性、可扩展性、可移植性、高效性和安全性等特点。
实时性：边缘计算能够实现实时的数据处理和分析，可以提高应用的响应速度；
可扩展性：边缘计算可以根据需要通过增加计算节点来扩展，可以满足大规模的数据处理需求；
可移植性：边缘计算可以在不同的硬件平台上运行，比如智能手机、智能家居设备、智能汽车等；
高效性：边缘计算可以减少网络带宽的需求，并且能够有效利用硬件计算资源，提高计算效率；
安全性：边缘计算可以通过本地计算和数据存储来保障数据安全，并且可以支持数据加密和授权机制。

3、边缘计算设备平台

（1） 训练平台：通常以英伟达Nvidia-GPU为主；
（2） 推理平台：云端和设备端, CPU(x86 arm), GPU, NPU, TPU, FPGA, ASIC;

4、常见部署方案

目前大多数深度学习算法模型要落地对算力要求比较高，如果在服务器上，可以使用GPU进行加速，但是在边缘端或者算力匮乏的开发板子上，不得不对模型进一步的压缩或者改进，也可以针对特定的场景使用市面上现有的推理优化加速框架进行推理。目前来说比较常见的几种部署方案为：
nvidia GPU: pytorch->onnx->TensorRT
intel CPU: pytorch->onnx->openvino
移动端（手机、开发板等）：pytorch->onnx->MNN、NCNN、TNN、TF-lite、Paddle-lite、RKNN#S