Larq Compute Engine：优化二值化神经网络的推理引擎

Larq Compute Engine：优化二值化神经网络的推理引擎

compute-engine Highly optimized inference engine for Binarized Neural Networks 项目地址: https://gitcode.com/gh_mirrors/com/compute-engine

项目基础介绍

Larq Compute Engine（LCE）是一个为部署极度量化的神经网络（如二值化神经网络，BNNs）而设计的高度优化推理引擎。该引擎目前支持各种移动平台，并在Pixel 1手机和Raspberry Pi上进行了性能基准测试。LCE 提供了一系列为支持指令集量身定制的 TensorFlow Lite 扩展操作符，这些操作符是用内联汇编或利用编译器内联特性以C++编写而成。主要编程语言为C++，辅以Python、MLIR等其他技术。

核心功能

• 无缝集成：LCE与Larq和TensorFlow的紧密集成，提供了从训练到部署的无缝体验。
• 预训练模型：提供了一系列Larq预训练的BNN模型，可用于常见的机器学习任务，并能与LCE即插即用。
• 优化转换器：LCE 提供了一个基于MLIR的模型转换器，与TensorFlow Lite完全兼容，并对Larq模型执行额外的网络级别优化。
• 性能优化：通过提供针对BNN模型的优化内核和网络级别优化，LCE能够在多种移动平台上实现高速的设备内机器学习推理。

最近更新的功能

根据项目的最新更新，具体新增功能包括但不限于以下几点：

• 性能优化：持续对现有操作符进行优化，提升在ARM架构下的推理性能。
• 新操作符支持：新增了对某些特定操作符的支持，以扩展LCE的应用范围和能力。
• 兼容性改进：提高了与最新TensorFlow Lite版本的兼容性。
• 错误修复和稳定性增强：解决了先前版本中的问题，增强了引擎的稳定性和可靠性。

Larq Compute Engine 的开发团队持续在性能、稳定性和兼容性方面进行改进，以满足社区和用户的需求。

compute-engine Highly optimized inference engine for Binarized Neural Networks 项目地址: https://gitcode.com/gh_mirrors/com/compute-engine