TensorFlow Lite 提供移动端GPU加速，尤其在Android平台上支持丰富。然而，iOS支持相对较弱，文档和功能都不如Android全面。GPU加速并非所有操作都适用，可能仅部分能在GPU上运行，其余仍由CPU处理。当某些ops不支持GPU时，性能可能反而下降。官方建议开发者注意相关警告，并手动管理GPU代理的使用。
官方文档:https://tensorflow.google.cn/lite/performance/gpu?hl=zh_cn
TF LITE支持移动端GPU加速，特别对android端的支持比较丰富。相对android来说，对IOS的支持就有点差了。从给出的文档也能看出，android的文档也比IOS的丰富。
TF LITE明确只支持android和ios端，而且在不同的系统上会有不同表现。即便是可以用GPU，也有可能是部分操作可以应用GPU加速，部分依旧在CPU上，这要看具体系统对GPU操作的支持。TF LITE在运行时会给出log
引用官方的解释:
不支持的模型和 ops
如果一些 ops 并不支持 GPU 代理，框架只会在 GPU 上运行图形的一部分，剩下的部分会在 CPU 上运行。因为这会导致 CPU/GPU 同时出现很高的使用率，像这样的分开执行模式会导致运行起来比整个网络在 CPU 上运行要慢。在这种情况下，用户会收到一个像这样的警告：
WARNING: op code #42 cannot be handled by this delegate.
警告：此代理无法处理#42操作码我们没有为这种失败提供回
最低0.47元/天 解锁文章
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
