tensorflow2caffe(4) : caffemodel的生成与tensorflow2caffe框架转换的总结

   在笔者的上一篇博客中,提到了如何从tensorflow框架下提取出模型参数并转化为caffe框架下的模型参数,并在最后生成了一个1.1GB的.prototxt格式的参数文件,该文件里面主要记录了网络架构以及各层对应的参数。可是我们在使用caffe进行网络前传得到结果的时候,是需要使用一个caffemodel文件的。那么,如何通过.prototxt格式的参数文件去生成这个caffemodel文件呢?大家还记得tensorflow2caffe(1)这篇博客吗?里面讲述了caffemodel文件里面记载了什么,而在读caffemodel文件的时候,我们使用了ReadProtoFromBinaryFile函数将参数从二进制读出到proto中,搭配WriteProtoToTextFile函数将参数从proto中写入文件。

   在生成caffemodel时,正好是该过程的

   根据读caffemodel的经验,笔者凭借直觉直接进入了caffe-master/src/caffe/util/io.cpp文件,并从中找到了可以利用的函数。我们可以先使用ReadProtoFromTextFile将文件中的参数写入proto,然后再使用WriteProtoToBinaryFile函数将proto中的参数转化为caffemodel。

   具体代码如下所示:

#include <caffe/caffe.hpp>
#include <google/protobuf/io/coded_stream.h>
#include <google/protobuf/io/zero_copy_stream_impl.h>
#include <google/protobuf/text_format.h>
#include <algorithm>
#include <iosfwd>
#include <memory>
#include <string>
#include <utility>
#include <vector>
#include <iostream>
#include "caffe/common.hpp"
#include "caffe/proto/caffe.pb.h"
#include "caffe/util/io.hpp"

using namespace caffe;
using namespace std;
using google::protobuf::io::FileInputStream;
using google::protobuf::io::FileOutputStream;
using google::protobuf::io::ZeroCopyInputStream;
using google::protobuf::io::CodedInputStream;
using google::protobuf::io::ZeroCopyOutputStream;
using google::protobuf::io::CodedOutputStream;
using google::protobuf::Message;

int main()
{
	NetParameter proto;
	ReadProtoFromTextFile("/home/cvlab/model/model.prototxt", &proto);
	WriteProtoToBinaryFile(proto, "/home/cvlab/model/model.caffemodel");
	return 0;
}

   对应的CMakeLists.txt文件如下所示:

cmake_minimum_required (VERSION 2.8)

project (write_model)

add_executable(write_model wm.cpp)

include_directories ( /home/cvlab/caffe-master/include
    /usr/local/include
    /usr/local/cuda/include
    /usr/include )

target_link_libraries(write_model
    /home/cvlab/caffe-master/build/lib/libcaffe.so
    /usr/lib/x86_64-linux-gnu/libglog.so
    /usr/lib/x86_64-linux-gnu/libboost_system.so
    )
   然后我们运行一下该程序,首先编译:


   然后运行:


   可以看到,是不是生成了全新的model.caffemodel文件呢?大功告成!

   到这里,tensorflow2caffe框架转换的工作就正式完成了!我们总结一下我们收获了什么呢:

在tensorflow2caffe(3)中我们重建了网络test.prototxt。

在本节中,我们得到了caffemodel。

   那么,要得到网络的前传结果,就直接使用c++或者python的网络前传程序调用测试网络文件和模型参数进行网络前传得到结果就行了,具体操作可以参阅笔者的博客:

在c++程序中调用caffe训练完毕的模型进行分类

caffe工程化实例:将caffe分类程序编译成.so文件并在程序中调用

   到此,使用tensorflow训练的模型就可以在caffe框架下运行了,tensorflow2caffe系列完满收官!




一些总结和感悟:

   tensorflow到caffe的框架转换笔者认为是相对困难的,难在需要对tensorflow,caffe和深度学习理论有入门级的了解。因为tensorflow是一个高度支持自定制的框架。即不同的工程师有不同的网络实现方案与风格,因此在进行框架转换的时候,需要先读懂tensorflow程序,理解网络前传数据流程,然后再分层取出参数。然后在caffe上面复现网络前向传播的时候,需要对caffe有不浅的了解,因为涉及在caffe上面添加网络层,以及整理网络架构。对于笔者而言,进行一次框架转换,对于深度神经网络底层构造也熟悉了很多,受益匪浅。

总的来说,进行tensorflow2caffe框架转换,笔者探索的步骤如下:

(1) 首先弄懂caffemodel里面到底是什么?tensorflow2caffe(1)

(2) 从tensorflow中取出模型参数。tensorflow2caffe(2)

(3) 复现.prototxt格式的网络结构,按需在caffe上重写层,并将tensorflow中取出的模型参数转到caffe下,得到网络参数文件。tensorflow2caffe(3)

(4) 生成caffemodel,详见本篇博客上半部分。

(5) 利用网络结构文件与caffemodel进行网络的前向传播得到结果 在c++程序中调用caffe训练完毕的模型进行分类

   在本篇博客的尾声,笔者想告诉大家,在tensorflow2caffe系列中,笔者对于一些问题的描述也许过于平淡,如果读者朋友们遇到问题,很欢迎在评论区指出,笔者一定耐心回复。另外,笔者诚心希望,本系列也能解决各位读者朋友的其他问题,因为笔者的博客对大家有帮助是笔者最愿意看到的。同时,如果各位读者朋友觉得有必要,欢迎订阅笔者的博客,笔者会不定时分享一些有关深度学习的科研与项目方面的经验与记录,保证干货。


   欢迎阅读笔者后续博客,各位读者朋友的支持与鼓励是我最大的动力!


written by jiong

凿井者,起于三寸之坎,以就万仞之深

  • 7
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 24
    评论
TensorFlow模型转换Caffe2模型可以按照以下步骤进行: 1. 将TensorFlow模型导出为SavedModel格式:使用TensorFlow的`tf.saved_model.save`函数将TensorFlow模型保存为SavedModel格式。 ```python import tensorflow as tf # 加载TensorFlow模型 model = tf.keras.applications.ResNet50(weights='imagenet') # 保存为SavedModel格式 saved_model_path = './saved_model' tf.saved_model.save(model, saved_model_path) ``` 2. 使用Caffe2的tf2caffe工具进行转换Caffe2提供了一个tf2caffe工具,可以将SavedModel转换Caffe2模型。你需要克隆Caffe2的GitHub仓库,并根据官方文档的说明进行安装和配置。 ```bash git clone https://github.com/pytorch/pytorch.git cd pytorch git submodule update --init cd caffe2 mkdir build cd build cmake .. make ``` 3. 运行tf2caffe转换脚本:在Caffe2的build目录下,使用tf2caffe转换脚本将SavedModel转换Caffe2模型。 ```bash ./build/tools/tf2caffe \ --data-output-path caffe_model/data \ --code-output-path caffe_model/model \ --net-output-path caffe_model/model.prototxt \ --init-net-output-path caffe_model/init_net.pb \ --predict-net-output-path caffe_model/predict_net.pb \ --input-dim 1,224,224,3 \ --input-type float \ --input-name input \ --output-name output \ --input-blob-name input_blob \ --output-blob-name output_blob \ --caffe-weights caffe_model/caffe_weights.caffemodel \ --tensorflow-model-path saved_model ``` 通过以上步骤,你就可以将TensorFlow模型转换Caffe2模型。转换后的Caffe2模型将包含模型结构和参数,并可以在Caffe2中进行推理操作。请注意,转换过程中可能需要处理一些兼容性问题,因为TensorFlowCaffe2具有不同的特性和支持的操作集。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 24
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值