blob 图片_opencv中的Mat与caffe中的Blob

在使用caffe中，一条常用的数据流可以看作：jpg---(opencv imread)----Mat-----(protocol convert)-----Blob----(forward)-----。本文主要是对Mat、Blob中数据维度顺序、数据的物理存储细节以及两者之间的转换过程加以明确与总结。insight难免会有所偏颇，因此尽量会添加部分关键官方文档截图、官方源码截图、自己设计的小代码来佐证自己的想法。

1、jpg-->Mat

关于第一点，需要明确两件事情

• opcv中彩色图片是bgr or rgb ？

答：bgr

In the case of color images, the decoded images will have the channels stored in B G Rorder. ^[1]

• bbbbbbb.....gggggg......rrrrrrrrr or bgrbgrbgrbgrbgr..........?

答: bgrbgrbgrbgr，如果从维度上来讲可以写作h*w*c。

总结就是：

实验支撑：按照自己理解的顺序，对图片按照公式进行通道分离，b,g,r剥离的效果符合预期。

cv::Mat b_img(height, width, CV_8UC3, cv::Scalar(0, 0, 0));
cv::Mat g_img(height, width, CV_8UC3, cv::Scalar(0, 0, 0));
cv::Mat r_img(height, width, CV_8UC3, cv::Scalar(0, 0, 0));

for (int i = 0; i < src_img.rows; i++)
{
   for (int j = 0; j < src_img.cols; j++)
       {
	  *(b_img.ptr(i) + j*channel + 0) = src_img.at<Vec3b>(i, j)[0];//ptr Returns a pointer to the specified matrix row.
	  *(g_img.ptr(i) + j*channel + 1) = src_img.at<Vec3b>(i, j)[1];//ptr Returns a pointer to the specified matrix row.
	  *(r_img.ptr(i) + j*channel + 2) = src_img.at<Vec3b>(i, j)[2];//ptr Returns a pointer to the specified matrix row.
        }
}

2、How Blob Stored?

caffe中blob的维度为(n, c, h, w)^[2] ，因此我们可以比较容易的确认在blob变量在内存中的存储方式：

这边可以总结为

3、How to Convert Mat to Blob

上文所讲的其实就三个东西n,c,h,w（此处为无序），Mat, Blob。其中Mat是opencv这一领域的一种协议，它决定了在opencv中一副图片数据的stored顺序；Blob是caffe这一领域的一种协议。不同公司（或者开发者）会因为历史原因以及自己的习惯，设计各种各样的协议，这些协议之间具有一定的gap。但n,w,c,h这四个名词是一个物理世界的概念，是一个具有认知的人都可以达成共识的东西--------图片（或feature map, 下同）数量，图片宽度，图片通道数，图片高度。因此，无论在opencv领域还是在caffe领域，提到上述四个名词都指的是同一个东西，因此n,c,h,w（此处为无序）为转换的桥梁。

因此，

->

->

cv

看一下官方是怎么写的^[3]

 Dtype* transformed_data = transformed_blob->mutable_cpu_data();
  int top_index;
  for (int h = 0; h < height; ++h) {
    const uchar* ptr = cv_cropped_img.ptr<uchar>(h);
    int img_index = 0;
    for (int w = 0; w < width; ++w) {
      for (int c = 0; c < img_channels; ++c) {
        if (do_mirror) {
          top_index = (c * height + h) * width + (width - 1 - w);
        } else {
          top_index = (c * height + h) * width + w;
        }
        // int top_index = (c * height + h) * width + w;
        Dtype pixel = static_cast<Dtype>(ptr[img_index++]);
        if (has_mean_file) {
          int mean_index = (c * img_height + h_off + h) * img_width + w_off + w;
          transformed_data[top_index] =
            (pixel - mean[mean_index]) * scale;
        } else {
          if (has_mean_values) {
            transformed_data[top_index] =
              (pixel - mean_values_[c]) * scale;
          } else {
            transformed_data[top_index] = pixel * scale;
          }
        }
      }
    }
  }

可以看到官方代码和我们自己根据公式写出来的代码是一致的。

---

总结：

1、Mat可以表示为h*w*c; Blob可以表示为n*c*h*w,记住改点可以推得以上所有。

• opencv中彩色图是bgrbgrbgrbgr.....; caffe中blob为

2、强化记忆：写转换代码时，循环的层级与维度的写法是一致的c-》w-》h因为，作为转换的src,其index实一个index++的连续的“甲方地位”。

3、完整代码，可见我的github。

参考

1. ^摘自opencv官方imread函数note
2. ^默认为简单常识
3. ^见caffe官方源码data_transformer.cpp