Caffe学习：Data

Data: Ins and Outs

Caffe中使用Blob存储、传递、处理数据。Data layers读写任意格式的数据都是以Blob作为媒介的。对于输入数据的一些基本预操作，如mean-subtraction（减去均值）、feature-scaling（特征归一化）都是在data layer中进行的。允许自定义新的data layer以提供新的输入形式（input types）。

下面这个data layer的定义，读取MNIST数据：

layer {
  name: "mnist"
  type: "Data"
  # 第一个输出是数据本身
  top: "data"
  # 第二个输出是标签
  top: "label"
  # Data layer具体配置
  data_param {
    # 数据库路径
    source: "examples/mnist/mnist_train_lmdb"
    # 数据库类型：LEVELDB或LMDB (LMDB支持并行读取)
    backend: LMDB
    # 批量读取，提高效率
    batch_size: 64
  }
  # 数据预处理
  transform_param {
    # 特征归一化系数，将范围为[0, 255]的MNIST数据归一化为[0, 1]
    scale: 0.00390625
  }
}

• Tops and Bottoms：一个data layer从top blobs输出数据，但是没有bottom blobs因为data layer没有输入。

• Data and Label：一个data layer至少要有一个输出，可以称之为data。当然也可以有第二个输出，称为label。这样命名只是习惯而已，对于分类模型也更为方便。

• Transformations：在data layer的定义中，数据预处理通过transform_param参数来定义。

layer {
  name: "data"
  type: "Data"
  [...]
  transform_param {
    scale: 0.1
    mean_file_size: mean.binaryproto
    # 用于对images进行水平镜像处理或者随机裁剪处理
    mirror: 1  # 1 = on, 0 = off
    # 裁剪大小为`crop_size` x `crop_size`
    # - 训练时为随机裁剪
    # 测试时从中央开始裁剪
    crop_size: 227
  }
}

• Prefetching：后台预读取、预处理

• Multiple Inputs：Net可以有任意多、任意类型的输入，可以定义任意多的data layer，但是要有唯一的name和top。多输入是useful的，例如可以一个data layer读取data ，另一个data
  layer读取label。这样的话，data和label可以是任意的4D数组。其他的多输入应用可以是multi-modal（多态模式）、sequence
  models（序列模式）。这样的话，就需要自己实现数据预处理或者构造一个自定义data layer。

---

Formats

在 layer catalogue中可以查看data layer的具体细节。

---

Deployment Input

对于“动态计算部署”（on-the-fly computation deployment），Net定义了input属性（input fields），用于直接在线赋值，或者交互计算。

---