贤者之路，Tensorrt的int8 calibration创建

最新推荐文章于 2024-08-25 11:42:55 发布

chanzhennan

最新推荐文章于 2024-08-25 11:42:55 发布

阅读量4.5k

点赞数 1

本文链接：https://blog.csdn.net/chanzhennan/article/details/87982207

版权

本文介绍了TensorRT中INT8量化的重要性，特别是针对GPU计算板卡的加速。要实现INT8加速，必须先创建calibration文件。通过编写.h和.cpp文件，继承IInt8EntropyCalibrator类，可以生成Int8 table文件。核心在于实现getBatchSize()和getBatch()函数，这两个函数是校准过程的关键步骤。

摘要由CSDN通过智能技术生成

【INT8 Calibration】

无论哪块GPU计算板卡都能够支持Int8的加速，但需要事先生成 calibration文件，下面是.h .cpp分别继承IInt8EntropyCalibrator类，用于创建Int8 table文件

#pragma once
#include "NvInfer.h"
#include "NvCaffeParser.h"
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include "util.h"

using namespace nvinfer1;
using namespace nvcaffeparser1;


class YoloInt8 : public IInt8EntropyCalibrator
{
public:
	YoloInt8() {}
	virtual ~YoloInt8() {};
	
    // ======================== 初始化实现 ==============================//

	int init(const char* inDir, const char* outDir, int batch, int maxBatch);
	
    // ======