caffe学习笔记（二）——caffe结构分析

一、caffe目录结构：

• data —— 用于存放下载的训练数据
• docs —— 帮助文档
• examples —— 代码样例
• matlab —— MATLAB接口文件
• python —— PYTHON接口文件
• models —— 一些配置好的模型参数
• scripts —— 一些文档和数据会用到的脚本
• 核心代码：
  
  • tools —— 保存的源码是用于生成二进制处理程序的，caffe在训练时实际是直接调用这些二进制文件
  • include —— Caffe的实现代码的头文件
  • src —— 实现Caffe的源文
  • gtest —— google test一个用于测试的库你make runtest时看见的很多绿色RUN OK就是它，这个与caffe的学习无关，不过是个有用的库
  • caffe —— 关键代码
    
    • test —— 用gtest测试caffe的代码
    • util —— 数据转换时用的一些代码。caffe速度快，很大程度得益于内存设计上的优化（blob数据结构采用proto）和对卷积的优化（部分与im2col相关）
    • proto —— 即所谓的“Protobuf”，全称“Google Protocol Buffer”，是一种数据存储格式，帮助caffe提速
    • layers —— 深度神经网络中的基本结构就是一层层互不相同的网络了，这个文件夹下的源文件以及目前位置“src/caffe”中包含所有.cpp文件就是caffe的核心目录下的核心代码了。
• caffe最核心的代码：
  
  • blob[.cpp .h] —— 基本的数据结构Blob类
  • common[.cpp .h] ——　定义Caffe类
  • internal_thread[.cpp .h]——　使用boost::thread线程库
  • net[.cpp .h] ——　网络结构类Net
  • solver[.cpp .h] ——　优化方法类Solver
  • data_transformer[.cpp .h] ——　输入数据的基本操作类DataTransformer
  • syncedmem[.cpp .h] ——　分配内存和释放内存类CaffeMallocHost，用于同步GPU，CPU数据
  • layer[.cpp .h] ——　层类Layer
  • layers　——　 此文件夹下面的代码全部至少继承了类Layer, 从layer_factory中注册继承

---

二、 caffe的三级机构（Blobs,Layers,Nets）：

• Blobs,Layers,Nets关系概述：Caff的net比作一栋大楼，Layer是构成大楼的墙，Blob是构成墙的砖块
• 功能概括：
  
  • Blob:用于数据的保存、交换和操作，Caffe基础存储结构
  • Layer:用于模型和计算的基础
  • Net：整合连接layers

• 具体介绍：

  • Blob：是caffe中处理和传递实际数据的数据封装包。是按C风格连续储存的N维数组。

    • 常规的维度为图像数量N*通道数C*图像高度H*图像宽度W。
    • 主要变量：
      
      • shared_ptr data_;
      • shared_ptr diff_;
      • shared_ptr shape_data_;
      • vector shape_;
      • int count_;
      • int capacity_;

    • 解释：

      • shared_ptr——是一个数据boost库中的智能指针，主要用来申请内存
      • data——主要是正向传播时候用的，diff_主要是用来储存偏差（主要是反向传播的时候会用到），
      • shape_data和shape_——都是存储Blob的形状
      • count——表示Blob存储的元素个数，也就是个数通道数高度*宽度
      • capacity_——表示当前Blob的元素个数（控制动态分配）

    • 主要函数：

      • 构造函数：构造函数开辟一个内存空间来存储数据
      • reshape函数：Reshape函数在Layer中的reshape或者forward操作中来adjust dimension
      • count函数：重载很多个count()函数，主要还是为了统计Blob的容量（volume），或者是某一片（slice），从某个axis到具体某个axis的
      • shape乘积（如 “ inline int count(int start_axis, int end_axis)”）。
      • data_数据操作函数 &
        反向传播导数diff_操作函数：这一部分函数主要通过给定的位置访问数据，根据位置计算与