tensorflow2.0 Post-training quantization

因为tensorflow2.0版本对比tensorflow1.0版本变化较大，所支持的量化方式方法都有所改变，所以重新写一篇文档记录。

先附上官方文档：

https://www.tensorflow.org/lite/performance/post_training_quantization?hl=en

 

因为aware-quantization操作实现起来较为复杂，所以这篇文章重点简述Post-training quantization。如果要了解aware-quantization，最好把版本更新退回至1.6版本。具体使用文档可看我另一篇文档：

https://blog.csdn.net/qq_16564093/article/details/78996563

 

先介绍下Post-training quantization，Post-training quantization是在损失一点精度的情况下，使模型的大小得到缩小，同时，在CPU，硬件上的运行速度也得到相应的提高。

 

Post-training quantization可分为以下三种方式：

 

先简单分别介绍一下：

weight quantization:

将模型weight从float转换成8bits，在计算过程中依然使用float进行运算，而为了加快速度，对于某些activation ops，使用8bits进行激活，计算结果再转换成float。

Full integer quantization:

将模型weight完全从float转换成8bits，即使在计算过程中依然使用8bits进行运算，速度得到明显提高，但需要一个代表性的数据集去测量每一层输入及激活的数值范围。而对于不支持8bits的op或者不支持8bits运算的加速器，则会在计算过程中将8bite反量化成float去计算。

Float16 quantization:

将模型weight完全从float32转换成float16，即使在计算过程中依然使用float16进行运算，但只有在支持float16运算的GPU上才会使用float16进行运算，不然在CPU上，依然转换回float32进行运算。

 

接下来代码实现：

convert model to tflite:

#直接将模型转换成lite模型，不进行量化处理
model = tf.keras.models.load_model('model.h5')
converter = tf.lite.TFLiteConverter.from_keras_model(model)
tflite_model = converter.convert()

f = open('save/pruned_final_model.tflite','wb')
f.write(tflite_model)
f.close()

weight quantization:

model = tf.keras.models.load_model('model.h5')
converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.OPTIMIZE_FOR_SIZE]
tflite_quant_weight_model = converter.convert()

f = open('tflite_quant_weight_model.tflite','wb')
f.write(tflite_quant_weight_model)
f.close()

Full integer quantization:

# 生成代表性数据集
def get_representative_dataset_gen():
    path = '/dataSet/'  
    imgSet = [os.path.join(path, f) for f in os.listdir(path) if os.path.isfile(os.path.join(path, f))]
    for name in imgSet:
        img = Image.open(name)
        img = np.array(img.resize((224,224)))
        img = (img/255.0)
        img = np.array([img.astype('float32')])
        yield [img]
        
#如果使用官方文档提供的下面的converter获取方法，会发现，最后转成出来的lite模型的输入依然为float类型。
#converter = tf.lite.TFLiteConverter.from_keras_model(model)     
converter = tf.compat.v1.lite.TFLiteConverter.from_keras_model_file('model.h5')

converter.representative_dataset = get_representative_dataset_gen
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.uint8
converter.inference_output_type = tf.uint8
converter.optimizations = [tf.lite.Optimize.DEFAULT]

tflite_quant_integer_model = converter.convert()

import pathlib
tflite_quant_integer_model_dir = pathlib.Path('tflite_quant_integer_model.tflite')
tflite_quant_integer_model_dir.write_bytes(tflite_quant_integer_model)

Float16 quantization:

converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_types = [tf.compat.v1.lite.constants.FLOAT16]
tflite_fp16_model = converter.convert()

import pathlib
tflite_quant_fp16_model_dir = pathlib.Path('tflite_quant_fp16_model.lite')
tflite_quant_fp16_model_dir.write_bytes(tflite_fp16_model)

 

 

tflite模型的python调用方法如下：

def eval_model(interpreter,input_index,output_index,img):
    interpreter.set_tensor(input_index, img)
    interpreter.invoke()
    predictions = interpreter.get_tensor(output_index)
    return predictions
    
def get_interpreter(path):
    interpreter = tf.lite.Interpreter(model_path=path)
    interpreter.allocate_tensors()

    input_details = interpreter.get_input_details()
    output_details = interpreter.get_output_details()

    input_index = input_details[0]["index"]
    output_index = output_details[0]["index"]
    return (interpreter,input_index,output_index)
    
interpreter , input_index , output_index = get_interpreter('model.tflite')
result = eval_model(interpreter,input_index,output_index,img)
print (result)

 

讲过测试：

model_size:

Float16 quant > weight quant ~ Full integer quant

speed:

Float16 quant > weight quant > Full integer quant

至于为什么 Full integer quant速度反而最慢，我猜测是因为我的环境是CPU，他们得不到速度的提升，反而在推导过程中，还需要把8bit转换成float，消耗时间。