Caffe源码解读(二):Blob类的源码解读

Blob类定义在Include/Caffe/Blob.h中定义,而成员函数的实现在Src/Caffe/Blob.cpp中。
#作用
Caffe 使用 blobs 结构来存储、交换和处理网络中正向和反向迭代时的数据和导数信息: blob 是 Caffe 的标准数组结构,它提供了一个统一的内存接口。blobs还具备在 CPU 与 GPU 之间具有同步处理能力。
#Blob实现原理
blob本质上是一个连续存储的N维数组。blob为不同类型的数据提供统一的内存接口,比如批量图像数据、模型参数以及优化的导数。
以图像举例,blob 常规的维数为图像数量 N *通道数 K *图像高度 H *图像宽度 W。
#Blob类的成员变量

 protected:
  shared_ptr<SyncedMemory> data_;//存储网络中传送的普通数据
  shared_ptr<SyncedMemory> diff_;//存储通过计算得到的梯度
  shared_ptr<SyncedMemory> shape_data_;//存储blob数据空间的维度,比如图像数据N、K、H、W。
  vector<int> shape_;//作用同shape_data_,这里采用向量的形式
  int count_;//Blob的数据大小,即shape_各个元素相乘。比如图像数据大小为N*K*H*W
  int capacity_;//Blob的数据内存空间容量capacity_,必须大于等于count_

shared_ptr是C++11标准,shared_ptr的作用有如同指针,但会记录有多少个shared_ptrs共同指向一个对象,引用计数变为0时自动被销毁。SyncedMemory在 Syncedmem.cpp中定义。

data_和diff_共享了内存同步类智能指针。

#Blob类的成员函数
Blob类常用的成员函数,那些简单易懂的就不列出了。
##num_axes()

inline int num_axes() const { return shape_.size(); }

作用:是返回数据有几个维度,例如图像就是N、K、H、W四个维度,返回4。
axes是“轴”的意思。“轴”在这里可以理解为维度位置,比如H的轴为2。
##count()

inline int count(int start_axis, int end_axis);

作用:计算从start_axis轴到end_axis轴的数据维度之积。比如图像数据count(1,3)就是计算K×H。
重载函数inline int count(int start_axis) ,是计算从start_axis轴到最后一个轴的维度之积。

##CanonicalAxisIndex()


```cpp
inline int CanonicalAxisIndex(int axis_index) const {
    if (axis_index < 0) {
      return axis_index + num_axes();
    }
    return axis_index;
  }
作用:指定一个典范轴,以典范轴为单位处理数据。比如图像数据N*K*H*W,一般指定K为典范轴,因为图片要一张一张处理,而K*H*W就是一张图片的数据。

##num() channels() height() width()
作用:分别返回N、K、H、W的大小。

##offset()
作用:计算指定的位置举例数据起始位置的偏移量。

##data() diff()
作用:返回data_和diff_

##cpu_data()

template <typename Dtype>
const Dtype* Blob<Dtype>::cpu_data() const {
  CHECK(data_);
  return (const Dtype*)data_->cpu_data();//data
}
功能:返回data_的数据,data_是SyncedMemory类型的shared_ptr,不可变的数据,forward时使用。

const void* SyncedMemory::cpu_data() {
to_cpu();
return (const void*)cpu_ptr_;
}

##set_cpu_data()

void Blob::set_cpu_data(Dtype* data) {
CHECK(data);
data_->set_cpu_data(data);
}

功能:把data设置为cpu_data的地址。
##mutable_cpu_data()

Dtype* Blob::mutable_cpu_data() {
CHECK(data_);
return static_cast<Dtype*>(data_->mutable_cpu_data());
}

功能:返回mutable_cpu_data地址,可变的数据,在更新权值等操作时使用。

##Update()
**功能:实现了data=data-diff操作。在CNN更新权值时会用到。**

##CopyFrom()

void Blob::CopyFrom(const Blob& source, bool copy_diff, bool reshape);

功能:从source 拷贝数据 , copy_diff控制是拷贝diff还是data

##FromProto()

void Blob::FromProto(const BlobProto& proto, bool reshape);

功能:该函数主要是将权值矩阵从caffemodel中读出来。
##ToProto()

void Blob::ToProto(BlobProto* proto, bool write_diff) const;


功能:该函数定义了如何将网络训练的权值参数保存进caffemodel中,比如是否将diff_保存进caffemodel中。 

#blob.h中的头文件
caffe.pb.h:是google protocol buffer根据caffe.proto自动生成的,可以到src/caffe/proto/caffe.proto里看下caffe里面用到的各个数据的定义,比如BlobProto,Datum,NetParameter等。使用这个protocol buffer看起来确实方便,一方面可以用文本文件定义结构化的数据类型,另一方面可以生成查询效率更高、占空间更小的二进制文件

common.hpp:主要singleton化Caffe类,并封装了boost和CUDA随机数生成的函数,提供了统一的接口。

syncedmem.hpp:定义了以下的接口:

 - inline void CaffeMallocHost(void** ptr, size_t size)
 - inline void CaffeFreeHost(void* ptr)
	主要是分配内存和释放内存的。而class SyncedMemory定义了内存分配管理和CPU与GPU之间同步的函数。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值