C++调用pb文件实现模型预测

C++ 调用pb文件实现模型预测

头文件引用

 声明所需要的头文件,opencv和tensorflow头文件声明:

#include <stdio.h>
#include <vector>

#include "tensorflow/core/public/session.h"
#include "tensorflow/core/platform/env.h"

#include "opencv2/opencv.hpp"
#include "opencv2/highgui/highgui.hpp"

加载pb模型

 加载pb模型,实质上是将模型加载tensorflow图上,并到绑定定义执行环境等相关因素的session上。

  • 创建图
  • 模型加载
  • 配置session
  • session与模型图关联
// 创建图
tensorflow::GraphDef graph;
// 模型加载
tensorflow::Status ret = 
tensorflow::ReadBinaryProto(tensorflow::Env::Default(), model_path, &graph);
if (!ret.ok()) {
    std::cout << "模型加载失败" << std::endl;
   return NULL;
}
//session配置
tensorflow::Session *p_session;
NewSession(tensorflow::SessionOptions(), &p_session);
// 模型图与session相关联
ret = p_
  • 5
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 11
    评论
在使用TensorFlow编译库之前,需要先安装TensorFlow和Protocol Buffers(PB)库。 1. 安装TensorFlow 可以通过以下命令来安装TensorFlow: ``` pip install tensorflow ``` 2. 安装Protocol Buffers(PB)库 可以通过以下命令来安装PB库: ``` pip install protobuf ``` 3. 编译PB模型 在编译PB模型之前,需要先将模型转换为PB格式。可以使用TensorFlow提供的freeze_graph.py脚本来将模型转换为PB格式: ``` python freeze_graph.py --input_graph=model.pb --input_checkpoint=model.ckpt --output_graph=frozen_model.pb --output_node_names=output_node_name ``` 其中,model.pb模型的GraphDef文件,model.ckpt是模型的checkpoint文件,output_node_name是模型输出节点的名称。 接下来,使用TensorFlow提供的tensorflow.python.compiler.tensorrt.convert()函数来编译PB模型: ``` import tensorflow as tf # 加载PB模型 with tf.gfile.GFile('frozen_model.pb', "rb") as f: graph_def = tf.GraphDef() graph_def.ParseFromString(f.read()) # 编译PB模型 trt_graph = tf.python.compiler.tensorrt.convert( graph_def, max_batch_size=1, maximum_cached_engines=1, precision_mode="FP16", minimum_segment_size=3 ) # 保存编译后的模型 with tf.gfile.GFile('trt_model.pb', "wb") as f: f.write(trt_graph.SerializeToString()) ``` 其中,max_batch_size表示最大批处理大小,precision_mode表示推理精度,minimum_segment_size表示最小分段大小。 经过编译后,可以使用TensorRT来加速模型的推理。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值