【深度学习】【Caffe源代码解读4】笔记22 Caffe框架中I/O模块的代码初探

最新推荐文章于 2019-07-15 14:58:34 发布
最新推荐文章于 2019-07-15 14:58:34 发布
阅读量515 收藏 1
点赞数 1
分类专栏： CNN--ANN--Deep Learning CV_DL_ML_Programming
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/maweifei/article/details/76943923
版权 
/************************************************************************************************************************
文件说明:
        【1】Caffe的I/O模块
        【2】数据读取层
Caffe的I/O模块的说明:
		【1】Caffe的I/O模块，即与数据打交道的模块
		【2】我们在运行caffe例程前，首先需要将【原始数据】转换为LMDB格式
		【3】训练网络时则需要由【数据读取层】【DataLayer】不断地从LMDB读取数据，送入后续卷积、下采样等计算层。
		【4】俗话说“民以食为天”，caffeI/O模块的效率直接影响到处理效率。
Caffe的数据读取层:
        【1】Caffe的数据读取层(DataLayer)是Layer的派生类。
        【2】除了读取LMDB、LEVELDB之外，也可以从原始图像直接获取(ImageDataLayer)
开发环境:
        Win10+caffe+cuda7.5+opencv+vs2013
时间地点:
        陕西师范大学 文津楼 2017.8.8
作    者:
        九 月
*************************************************************************************************************************/
/************************************************************************************************************************
文件说明:
        【数据输入层】(DataLayer)数据结构的描述
开发环境:
        Win10+caffe+cuda7.5+opencv+vs2013
时间地点:
        陕西师范大学 文津楼 2017.8.8
作    者:
        九 月
*************************************************************************************************************************/
message DataParameter 
{
  enum DB                                             //【1】输入数据使用的DB类型
  {           
    LEVELDB = 0;                                      //【2】使用LEVELDB数据结构
    LMDB    = 1;                                      //【3】使用LMDB数据结构
  }
  optional string source              = 1;                    //【1】源数据的路径
  optional uint32 batch_size          = 4;                    //【2】一个批量数据包含的图片数量
  optional uint32 rand_skip           = 7 [default = 0];      //【3】随机跳过若干图片，跳跃数目为rand_skip*rand(0,1)
  optional DB     backend             = 8 [default = LEVELDB];//【4】默认输入数据使用的DB类型，默认为LEVELDB
  optional float  scale               = 2 [default = 1];      //【5】scale、mean_file、crop_size、mirror均为旧版参数，现在
                                                              //     已经转移到TransformationParameter
  optional string mean_file           = 3;
  optional uint32 crop_size           = 5 [default = 0];
  optional bool   mirror              = 6 [default = false];
  optional bool   force_encoded_color = 9 [default = false];  //【6】强制编码图像为三通道彩色图像
  optional uint32 prefetch            = 10 [default = 4];     //【7】预取队列(预先存放到主机内存中的批量数目，默认为4个Batch)
}   
#ifndef CAFFE_DATA_LAYERS_HPP_
#define CAFFE_DATA_LAYERS_HPP_

#include <vector>

#include "caffe/blob.hpp"
#include "caffe/data_transformer.hpp"
#include "caffe/internal_thread.hpp"
#include "caffe/layer.hpp"
#include "caffe/proto/caffe.pb.h"
#include "caffe/util/blocking_queue.hpp"

namespace caffe 
{
template <typename Dtype>
class BaseDataLayer : public Layer<Dtype> 
{
 public:
  /***************************************************************************************************************
  函数说明:
	      显示构造函数
  ****************************************************************************************************************/
  explicit BaseDataLayer(const LayerParameter& param);
  /***************************************************************************************************************
  函数说明:
          层配置函数，实现通用层配置功能，之后调用DataLayerSetUp进行数据读取层的特殊配置
  ****************************************************************************************************************/
  virtual void LayerSetUp(const vector<Blob<Dtype>*>& bottom,const vector<Blob<Dtype>*>& top);
  /***************************************************************************************************************
  函数说明:
          数据读取层应被多个并行【求解器】共享
  ****************************************************************************************************************/
  virtual inline bool ShareInParallel() const { return true; }
  /***************************************************************************************************************
  函数说明:
          数据读取层的特殊配置函数
  ****************************************************************************************************************/
  virtual void DataLayerSetUp(const vector<Blob<Dtype>*>& bottom,const vector<Blob<Dtype>*>& top) {}
  /***************************************************************************************************************
  函数说明:
         数据读取层的变形操作函数
  ****************************************************************************************************************/
  virtual void Reshape(const vector<Blob<Dtype>*>& bottom,const vector<Blob<Dtype>*>& top) {}
  /***************************************************************************************************************
  函数说明:
         反向传播函数不需要做任何操作
  ****************************************************************************************************************/
  virtual void Backward_cpu(const vector<Blob<Dtype>*>& top,const vector<bool>& propagate_down, const vector<Blob<Dtype>*>& bottom) {}
  virtual void Backward_gpu(const vector<Blob<Dtype>*>& top,const vector<bool>& propagate_down, const vector<Blob<Dtype>*>& bottom) {}

 protected:
  TransformationParameter             transform_param_;        //【1】【数据预处理变换器】参数
  shared_ptr<DataTransformer<Dtype> > data_transformer_;       //【2】数据预处理变换器
  bool                                output_labels_;         //【3】是否输出标签数据
};
/*****************************************************************************************************************
模块说明:
        批量数据，用于存放数据读取层的输出
******************************************************************************************************************/
template <typename Dtype>
class Batch 
{
 public: 
	 Blob<Dtype>   data_;              //【1】存放图片数据
	 Blob<Dtype>   label_;             //【2】存放标签数据
};

template <typename Dtype>
class BasePrefetchingDataLayer :public BaseDataLayer<Dtype>, public InternalThread 
{
 public:
  explicit BasePrefetchingDataLayer(const LayerParameter& param);
  void LayerSetUp(const vector<Blob<Dtype>*>& bottom,const vector<Blob<Dtype>*>& top);

  virtual void Forward_cpu(const vector<Blob<Dtype>*>& bottom,const vector<Blob<Dtype>*>& top);
  virtual void Forward_gpu(const vector<Blob<Dtype>*>& bottom,const vector<Blob<Dtype>*>& top);
  static const int PREFETCH_COUNT = 3;

 protected:
  virtual void InternalThreadEntry();
  virtual void load_batch(Batch<Dtype>* batch) = 0;

  Batch<Dtype>                 prefetch_[PREFETCH_COUNT];
  BlockingQueue<Batch<Dtype>*> prefetch_free_;
  BlockingQueue<Batch<Dtype>*> prefetch_full_;

  Blob<Dtype> transformed_data_;
};

}  // namespace caffe

#endif  // CAFFE_DATA_LAYERS_HPP_

/************************************************************************************************************************
文件说明:
        【1】数据变换读取层
		【2】Caffe的【数据变换读取层】(DataTransformer)主要提供了对【原始输入图像】的预处理方法，包括:
		         【1】随机切块
				 【2】随机镜像
				 【3】幅度缩放
				 【4】去均值
				 【5】灰度/色度变换
开发环境:
        Win10+caffe+cuda7.5+opencv+vs2013
时间地点:
        陕西师范大学 文津楼 2017.8.8
作    者:
        九 月
*************************************************************************************************************************/
/************************************************************************************************************************
文件说明:
        【1】数据变换读取层
		【2】数据结构描述
开发环境:
        Win10+caffe+cuda7.5+opencv+vs2013
时间地点:
        陕西师范大学 文津楼 2017.8.8
作    者:
        九 月
*************************************************************************************************************************/
message TransformationParameter 
{
  optional float scale      = 1 [default = 1];       //【1】像素幅度缩放参数，默认为1，即不缩放
  optional bool mirror      = 2 [default = false];   //【2】图像随机镜像开关，默认为false,不进行镜像操作
  optional uint32 crop_size = 3 [default = 0];       //【3】图像随机切块的大小，默认为false，不进行切块
  optional string mean_file = 4;                     //【4】存储图像均值的文件
  repeated float mean_value = 5;                     //【5】均值数值，无需读取文件
  optional bool force_color = 6 [default = false];   //【6】强制为三通道彩色图像输入
  optional bool force_gray = 7 [default = false];    //【7】强制为三通道灰度
}
#ifndef CAFFE_DATA_TRANSFORMER_HPP
#define CAFFE_DATA_TRANSFORMER_HPP

#include <vector>

#include "caffe/blob.hpp"
#include "caffe/common.hpp"
#include "caffe/proto/caffe.pb.h"

namespace caffe 
{
template <typename Dtype>
class DataTransformer {
 public:
  explicit DataTransformer(const TransformationParameter& param, Phase phase);
  virtual ~DataTransformer() {}
  void InitRand();
  void Transform(const Datum& datum, Blob<Dtype>* transformed_blob);
  void Transform(const vector<Datum> & datum_vector,Blob<Dtype>* transformed_blob);

#ifdef USE_OPENCV
  void Transform(const vector<cv::Mat> & mat_vector,Blob<Dtype>* transformed_blob);
  void Transform(const cv::Mat& cv_img, Blob<Dtype>* transformed_blob);
#endif  // USE_OPENCV
  void Transform(Blob<Dtype>* input_blob, Blob<Dtype>* transformed_blob);
  vector<int> InferBlobShape(const Datum& datum);
  vector<int> InferBlobShape(const vector<Datum> & datum_vector);
#ifdef USE_OPENCV
  vector<int> InferBlobShape(const vector<cv::Mat> & mat_vector);
  vector<int> InferBlobShape(const cv::Mat& cv_img);
#endif  // USE_OPENCV
 protected:
  virtual int Rand(int n);
  void Transform(const Datum& datum, Dtype* transformed_data);
  TransformationParameter param_;

  shared_ptr<Caffe::RNG> rng_;
  Phase phase_;
  Blob<Dtype> data_mean_;
  vector<Dtype> mean_values_;
};

}  // namespace caffe

#endif  // CAFFE_DATA_TRANSFORMER_HPP_






马卫飞
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习Caffe框架入门视频课程
06-09
深度学习框架caffe入门，详解网络配置中每一个层的结构和参数项，对于超参数配置文件详解每一个参数的含义以及选择策略。对于数据源实例演示了两种常用的数据源LMDB和HDF5格式。课程涉及许多caffe框架的小技巧如绘制...
机器学习&深度学习入门学习资料大全(一)
知行_那片天
05-29 6924
机器学习&深度学习入门学习资料大全(一)
深度学习和机器学习的相关资料
细心程度决定你的成败
04-01 8602
《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning. 《Deep Learning in Neural Networks: An Overview》 介绍:这是瑞士人工智能实验室Jurgen Schm
机器学习与深度学习资料
赵英超的博客
10-21 3797
机器学习与深度学习资料 机器学习 《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning. 《Deep Learning in Neural Networks: An Overview》 介绍:这
caffe与卷积神经网络
serenysdfg的博客
07-15 1059
date:2017.9-2018.4 purpose:毕设 1caffe 简介 Caffe框架主要有五个组件：Blob，Solver，Net，Layer，Proto， 模型定义在.prototxt文件中，训练好的模型在model目录下.binaryproto格式的文件中。模型的格式由caffe.proto定义。采用Google Protocol Buffer可以节省空间还有它对C++...
深度学习框架Caffe源码解析
02-01
相信社区中很多小伙伴和我一样使用了很长时间的Caffe深度学习框架，也非常希望从代码层次理解Caffe的实现从而实现新功能的定制。本文将从整体架构和底层实现的视角，对Caffe源码进行解析。 Caffe框架主要有五个组件...
深度学习框架Caffe入门
06-17
本课程在windows下搭建CPU版本Caffe环境，便于初学者学习和调试。...介绍了深度学习网络训练的原理，结合Caffe的前向、反向传播的实现进行验证；最后修改一个已有的网络模型，使用项目上更常用的方式进行网络训练。
No module named skimage.io的解决方法
热门推荐
maweifei的博客
05-16 1万+
/******************************************************************************************************** 在我们配置好opencv和caffe的各种环境后，在导入caffe模块的时候，还有可能出现这个问题，解决方法是: 1)sudo apt-get install python-num
【深度学习】Ubuntu环境下Tensorflow的安装以及与Pycharm的相互配置
maweifei的博客
11-14 9387
************************************************************************************************************************************一　安装Anaconda 　　　　[1]首先，安装Anaconda3-4.2.0-Linux-x86_64.sh,下载的连接如下所示:
[深度学习]怎样使尺寸大小不一样的图片变为统一的size的C++程序
maweifei的博客
10-28 7097
/******************************************************************************************************************* *文件功能: * 1---用于用对基于caffe深度学习框架的图片进行预处理 * 2---从文件夹中连续的读取图片,然后将size和后缀名不一样的
【深度学习】Ubuntu16.04下出现这个错误ImportError: No module named google.protobuf.internal
maweifei的博客
08-11 5655
/************************************************************************************************************************************ 文件说明: [问题原因]Ubuntu16.04在import caffe的时，出现No module named go
【Caffe的C++接口使用说明二)】caffe_windows下的C++接口的使用
maweifei的博客
05-30 4433
转载自:http://blog.csdn.net/happynear/article/details/45372231 注意:        1)已经按照这个配置成功，并且成功测试了windows下caffe的C++接口        2)这第一篇博客是第一步:重新配置一个windows下的caffe环境 零、最近更新 本篇博客的内容已经全部过时失效，需要caffe windows版的可
OpenCv中批量读取图片数据并显示出来的C++程序
maweifei的博客
10-28 3954
/******************************************************************************************************************* *文件功能: * 1--从硬盘中的一个盘符的文件夹下批量的读取图片并且显示 * 2--从D盘的文件夹下连续读取50张图片 *开发环境: *
Windows下HDF5静态库的封装与测试（已验证）
maweifei的博客
07-08 3811
【1】首先，通过链接进入下面这个页面：链接：https://support.hdfgroup.org/HDF5/release/cmakebuild518.html【2】然后点击红色方框区域【3】然后，点击下图的红色方框区域，下载源代码(这份源代码，我已经验证过，只要编译方法得到，可以成功实现HDF5静态库和动态库的封装)【4】解压源代码和SZip和ZLib源代码，使用CMake分别对三分源代码进...
No module named cv2 和　import caffe失败问题的解决方法
maweifei的博客
05-16 3683
/************************************************************************************************ （一）No module named cv2的解决方法 在成功安装OpenCv和编译caffe之后,在import cv2的时候，出现了No module named cv2的错误,其解决方法 如
【深度学习】针对ImageNet---AlexNet所写的图像预处理程序(3264*2448)
maweifei的博客
11-09 3243
/******************************************************************************************************************* *文件功能: * 1--针对AlexNet模型,进行的图片处理程序,将图片处理成256*256的大小 * 2--用于更改图片的图片名,后缀图片格式,图
【Caffe的C++接口使用说明四)】Caffe中分类C++接口Demo源代码的解析
maweifei的博客
05-30 2899
#ifndef CAFFE_CAFFE_HPP_ #define CAFFE_CAFFE_HPP_ #include "caffe/blob.hpp" //【1】Blob是caffe中处理和传递实际数据的数据封装包，blob是按C风格连续存储的N维数据 #include "caffe/common.hpp"
深度学习框架caffe --module参数如何指定
最新发布
06-02
在使用 Caffe 框架的时候，可以使用 `--module` 参数来指定要使用的模块。这个参数的格式如下： ``` --module= ``` 其中，`<module_name>` 表示要使用的模块名称，可以是 Caffe 内置的模块，也可以是用户自己编写...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值