gemmlowp上的低精度范例以及如何实现

Introduction

“低精度”意味着输入和输出矩阵至多只能是8位的整数，标量类型为uint8_t

并不是在uint8_t上做简单的矩阵乘法，因为会溢出。为了避免溢出，我们内部在累加结果时会采用超过8位的数字，最后只保留一些有效的8位。这依赖于调用者提供合适的偏移/乘数/移位参数，从而有效地控制了我们如何从大于8位的临时累加器中提取一些有效的8位数据。

Low-precision paradigms

gemmlowp足够的灵活来支持多种低精度的案例，并且可以通过多种方式将含义附加到8bit值上，以便计算可以依赖gemmlowp提供的8bit gemm。

The current flexible design with arbitrary "output pipelines".（
当前具有任意“输出管道”的灵活设计）

查看output.md 查看输出管道的更多细节。这种机制使得gemmlowp变得足够的通用来支持更多的8位计算范例。通过允许用户在内部32位的累加器上设置一系列的转换链来获取最终的输出。

公共的入口在public/gemmlowp.h允许设置输出管道的方法是GemmWithOutputPipeline

 

gemmlowp在tensorflow lite中使用，适用于手机端，onnx底层支持量化实现，采用是微软的mlas.h文件来支持低精度矩阵乘法的计算，