大多数TensorFlow Lite操作都针对浮点(float32)和量化(uint8)推理,但通常很少或根本不支持其他类型,如tf.float16和字符串。
除了使用不同版本的操作之外,浮点和量化模型之间的另一个区别在于它们的转换方式。量化转换期望模型用“伪量化”节点注释,该节点记录张量的动态范围。没有该信息,TF Lite无法准确地量化模型,这意味着在转换之前必须进行适当的量化训练。
大多数TensorFlow Lite操作都针对浮点(float32)和量化(uint8)推理,但通常很少或根本不支持其他类型,如tf.float16和字符串。
除了使用不同版本的操作之外,浮点和量化模型之间的另一个区别在于它们的转换方式。量化转换期望模型用“伪量化”节点注释,该节点记录张量的动态范围。没有该信息,TF Lite无法准确地量化模型,这意味着在转换之前必须进行适当的量化训练。