1h-8学习（1）：1h-8适配之int8直接量化+转.cambricon格式

最新推荐文章于 2021-09-09 15:04:27 发布
最新推荐文章于 2021-09-09 15:04:27 发布
阅读量490 收藏 1
点赞数
分类专栏： caffe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42068754/article/details/106255040
版权

本系列接caffe学习系列
这篇博客是我自己瞎倒腾的，有误，没有实现起来，转1h-8学习（2）：1h-8适配之int8直接量化+转.cambricon格式
我尝试量化的模型是我自己训练的VGG_gtsdb_voc_SSD_300x300_iter_60000.caffemodel

网络结构文件对比

网络结构文件有五个：train.prototxt（训练时网络结构）、test.prototxt（测试评估时网络结构）、deploy.prototxt（实际图片检测网络结构）、ssd_float32_dense.prototxt（适配1-h8的全精度网络结构）、ssd_float32_dense.fix8.prototxt（量化完成后的网络结构）。因为Convolution、ReLU、Pooling层是所有网络结构文件共有的，我之后统称为conv层组。

train.prototxt

数据层：训练时需要lmdb格式的数据，数据层是AnnotatedData层。
conv层组：参数是浮点数。
拥有的Permute、Flatten、PriorBox、Concat层。
MultiBoxLoss计算损失函数。

test.prototxt

数据层：评估时也是用到lmdb格式的数据，数据层是AnnotatedData层。
conv层组：参数是浮点数。
拥有的Permute、Flatten、PriorBox、Concat层。
拥有Reshape、Softmax层。
检测层：DetectionOutput。
评估层：DetectionEvaluate。

deploy.prototxt

数据层：data层，即输入是图片。
conv层组：参数是浮点数。
拥有的Permute、Flatten、PriorBox、Concat层。
拥有Reshape、Softmax层。
检测层：DetectionOutput。

ssd_float32_dense.prototxt

数据层：data层，即输入是图片。
conv层组：参数是整型数。
没有Permute、Flatten、PriorBox、Concat层。
没有拥有Reshape、Softmax层。
检测层：SsdDetection。这一层包含PriorBox层的参数，相当于原来独立的PriorBox层的操作，合并进这层操作。

ssd_float32_dense.fix8.prototxt

数据层：data层，即输入是图片。
conv层组：参数是整型数。所有conv层组统一加了在这里插入图片描述
特别的conv1_1层加了参数std: 1。conv4_3_norm加了俩bottom_mlu_dtype，如图在这里插入图片描述
没有Permute、Flatten、PriorBox、Concat层。
没有拥有Reshape、Softmax层。
检测层：SsdDetection。这一层包含PriorBox层的参数，相当于原来独立的PriorBox层的操作，合并进这层操作。
这边给出ssd_float32_dense.fix8.prototxt，仅作参考。

layer {
  name: "data"
  type: "Input"
  top: "data"
  input_param {
    shape {
      dim: 1
      dim: 3
      dim: 300
      dim: 300
    }
  }
}
layer {
  name: "conv1_1"
  type: "Convolution"
  bottom: "data"
  top: "conv1_1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 64
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
    mean_value: 104
    mean_value: 117
    mean_value: 123
    std: 1
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: 1
    scale: 1.6821193
  }
  blobs_dtype {
    type: DT_FIX8
    position: -7
    scale: 1.6666414
  }
}
layer {
  name: "relu1_1"
  type: "ReLU"
  bottom: "conv1_1"
  top: "conv1_1"
}
layer {
  name: "conv1_2"
  type: "Convolution"
  bottom: "conv1_1"
  top: "conv1_2"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 64
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: 3
    scale: 1.9628743
  }
  blobs_dtype {
    type: DT_FIX8
    position: -8
    scale: 1.7478662
  }
}
layer {
  name: "relu1_2"
  type: "ReLU"
  bottom: "conv1_2"
  top: "conv1_2"
}
layer {
  name: "pool1"
  type: "Pooling"
  bottom: "conv1_2"
  top: "pool1"
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layer {
  name: "conv2_1"
  type: "Convolution"
  bottom: "pool1"
  top: "conv2_1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 128
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: 4
    scale: 1.1986842
  }
  blobs_dtype {
    type: DT_FIX8
    position: -8
    scale: 1.2195039
  }
}
layer {
  name: "relu2_1"
  type: "ReLU"
  bottom: "conv2_1"
  top: "conv2_1"
}
layer {
  name: "conv2_2"
  type: "Convolution"
  bottom: "conv2_1"
  top: "conv2_2"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 128
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: 5
    scale: 1.4908361
  }
  blobs_dtype {
    type: DT_FIX8
    position: -8
    scale: 1.9700658
  }
}
layer {
  name: "relu2_2"
  type: "ReLU"
  bottom: "conv2_2"
  top: "conv2_2"
}
layer {
  name: "pool2"
  type: "Pooling"
  bottom: "conv2_2"
  top: "pool2"
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layer {
  name: "conv3_1"
  type: "Convolution"
  bottom: "pool2"
  top: "conv3_1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 256
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: 5
    scale: 1.3416708
  }
  blobs_dtype {
    type: DT_FIX8
    position: -8
    scale: 1.087052
  }
}
layer {
  name: "relu3_1"
  type: "ReLU"
  bottom: "conv3_1"
  top: "conv3_1"
}
layer {
  name: "conv3_2"
  type: "Convolution"
  bottom: "conv3_1"
  top: "conv3_2"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 256
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: 5
    scale: 1.4190377
  }
  blobs_dtype {
    type: DT_FIX8
    position: -8
    scale: 1.2495775
  }
}
layer {
  name: "relu3_2"
  type: "ReLU"
  bottom: "conv3_2"
  top: "conv3_2"
}
layer {
  name: "conv3_3"
  type: "Convolution"
  bottom: "conv3_2"
  top: "conv3_3"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 256
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: 5
    scale: 1.4766674
  }
  blobs_dtype {
    type: DT_FIX8
    position: -8
    scale: 1.4848723
  }
}
layer {
  name: "relu3_3"
  type: "ReLU"
  bottom: "conv3_3"
  top: "conv3_3"
}
layer {
  name: "pool3"
  type: "Pooling"
  bottom: "conv3_3"
  top: "pool3"
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layer {
  name: "conv4_1"
  type: "Convolution"
  bottom: "pool3"
  top: "conv4_1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: 4
    scale: 1.3106487
  }
  blobs_dtype {
    type: DT_FIX8
    position: -8
    scale: 1.940845
  }
}
layer {
  name: "relu4_1"
  type: "ReLU"
  bottom: "conv4_1"
  top: "conv4_1"
}
layer {
  name: "conv4_2"
  type: "Convolution"
  bottom: "conv4_1"
  top: "conv4_2"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: 3
    scale: 1.2383621
  }
  blobs_dtype {
    type: DT_FIX8
    position: -9
    scale: 1.4110417
  }
}
layer {
  name: "relu4_2"
  type: "ReLU"
  bottom: "conv4_2"
  top: "conv4_2"
}
layer {
  name: "conv4_3"
  type: "Convolution"
  bottom: "conv4_2"
  top: "conv4_3"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: 1
    scale: 1.2024717
  }
  blobs_dtype {
    type: DT_FIX8
    position: -9
    scale: 1.386004
  }
}
layer {
  name: "relu4_3"
  type: "ReLU"
  bottom: "conv4_3"
  top: "conv4_3"
}
layer {
  name: "pool4"
  type: "Pooling"
  bottom: "conv4_3"
  top: "pool4"
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layer {
  name: "conv5_1"
  type: "Convolution"
  bottom: "pool4"
  top: "conv5_1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
    dilation: 1
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: 0
    scale: 1.559556
  }
  blobs_dtype {
    type: DT_FIX8
    position: -9
    scale: 1.8768628
  }
}
layer {
  name: "relu5_1"
  type: "ReLU"
  bottom: "conv5_1"
  top: "conv5_1"
}
layer {
  name: "conv5_2"
  type: "Convolution"
  bottom: "conv5_1"
  top: "conv5_2"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
    dilation: 1
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -1
    scale: 1.4878281
  }
  blobs_dtype {
    type: DT_FIX8
    position: -9
    scale: 1.6403632
  }
}
layer {
  name: "relu5_2"
  type: "ReLU"
  bottom: "conv5_2"
  top: "conv5_2"
}
layer {
  name: "conv5_3"
  type: "Convolution"
  bottom: "conv5_2"
  top: "conv5_3"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
    dilation: 1
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -2
    scale: 1.4428637
  }
  blobs_dtype {
    type: DT_FIX8
    position: -9
    scale: 1.2724378
  }
}
layer {
  name: "relu5_3"
  type: "ReLU"
  bottom: "conv5_3"
  top: "conv5_3"
}
layer {
  name: "pool5"
  type: "Pooling"
  bottom: "conv5_3"
  top: "pool5"
  pooling_param {
    pool: MAX
    kernel_size: 3
    stride: 1
    pad: 1
  }
}
layer {
  name: "fc6"
  type: "Convolution"
  bottom: "pool5"
  top: "fc6"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 1024
    pad: 6
    kernel_size: 3
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
    dilation: 6
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -2
    scale: 1.5620732
  }
  blobs_dtype {
    type: DT_FIX8
    position: -9
    scale: 1.1169271
  }
}
layer {
  name: "relu6"
  type: "ReLU"
  bottom: "fc6"
  top: "fc6"
}
layer {
  name: "fc7"
  type: "Convolution"
  bottom: "fc6"
  top: "fc7"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 1024
    kernel_size: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -3
    scale: 1.9049852
  }
  blobs_dtype {
    type: DT_FIX8
    position: -10
    scale: 1.0440384
  }
}
layer {
  name: "relu7"
  type: "ReLU"
  bottom: "fc7"
  top: "fc7"
}
layer {
  name: "conv6_1"
  type: "Convolution"
  bottom: "fc7"
  top: "conv6_1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 256
    pad: 0
    kernel_size: 1
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -5
    scale: 1.2238019
  }
  blobs_dtype {
    type: DT_FIX8
    position: -9
    scale: 1.6430087
  }
}
layer {
  name: "conv6_1_relu"
  type: "ReLU"
  bottom: "conv6_1"
  top: "conv6_1"
}
layer {
  name: "conv6_2"
  type: "Convolution"
  bottom: "conv6_1"
  top: "conv6_2"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
    stride: 2
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -4
    scale: 1.2868363
  }
  blobs_dtype {
    type: DT_FIX8
    position: -10
    scale: 1.674374
  }
}
layer {
  name: "conv6_2_relu"
  type: "ReLU"
  bottom: "conv6_2"
  top: "conv6_2"
}
layer {
  name: "conv7_1"
  type: "Convolution"
  bottom: "conv6_2"
  top: "conv7_1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 128
    pad: 0
    kernel_size: 1
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -4
    scale: 1.2617356
  }
  blobs_dtype {
    type: DT_FIX8
    position: -9
    scale: 1.4698944
  }
}
layer {
  name: "conv7_1_relu"
  type: "ReLU"
  bottom: "conv7_1"
  top: "conv7_1"
}
layer {
  name: "conv7_2"
  type: "Convolution"
  bottom: "conv7_1"
  top: "conv7_2"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 256
    pad: 1
    kernel_size: 3
    stride: 2
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -3
    scale: 1.8346827
  }
  blobs_dtype {
    type: DT_FIX8
    position: -10
    scale: 1.378601
  }
}
layer {
  name: "conv7_2_relu"
  type: "ReLU"
  bottom: "conv7_2"
  top: "conv7_2"
}
layer {
  name: "conv8_1"
  type: "Convolution"
  bottom: "conv7_2"
  top: "conv8_1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 128
    pad: 0
    kernel_size: 1
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -3
    scale: 1.8314862
  }
  blobs_dtype {
    type: DT_FIX8
    position: -9
    scale: 1.6415796
  }
}
layer {
  name: "conv8_1_relu"
  type: "ReLU"
  bottom: "conv8_1"
  top: "conv8_1"
}
layer {
  name: "conv8_2"
  type: "Convolution"
  bottom: "conv8_1"
  top: "conv8_2"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 256
    pad: 0
    kernel_size: 3
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -3
    scale: 1.4325968
  }
  blobs_dtype {
    type: DT_FIX8
    position: -10
    scale: 1.5062493
  }
}
layer {
  name: "conv8_2_relu"
  type: "ReLU"
  bottom: "conv8_2"
  top: "conv8_2"
}
layer {
  name: "conv9_1"
  type: "Convolution"
  bottom: "conv8_2"
  top: "conv9_1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 128
    pad: 0
    kernel_size: 1
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -3
    scale: 1.267179
  }
  blobs_dtype {
    type: DT_FIX8
    position: -9
    scale: 1.8298161
  }
}
layer {
  name: "conv9_1_relu"
  type: "ReLU"
  bottom: "conv9_1"
  top: "conv9_1"
}
layer {
  name: "conv9_2"
  type: "Convolution"
  bottom: "conv9_1"
  top: "conv9_2"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 256
    pad: 0
    kernel_size: 3
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -2
    scale: 1.9943918
  }
  blobs_dtype {
    type: DT_FIX8
    position: -10
    scale: 1.9284432
  }
}
layer {
  name: "conv9_2_relu"
  type: "ReLU"
  bottom: "conv9_2"
  top: "conv9_2"
}
layer {
  name: "conv4_3_norm"
  type: "Normalize"
  bottom: "conv4_3"
  top: "conv4_3_norm"
  bottom_mlu_dtype {
    type: DT_FIX8
    position: 6
    scale: 1.2256831
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -4
    scale: 1.3394954
  }
  blobs_dtype {
    type: DT_FIX8
    position: -10
  }
  norm_param {
    across_spatial: false
    scale_filler {
      type: "constant"
      value: 20
    }
    channel_shared: false
  }
}
layer {
  name: "conv4_3_norm_mbox_loc"
  type: "Convolution"
  bottom: "conv4_3_norm"
  top: "conv4_3_norm_mbox_loc"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 16
    pad: 1
    kernel_size: 3
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -3
    scale: 1.9816087
  }
  blobs_dtype {
    type: DT_FIX8
    position: -9
    scale: 1.1155317
  }
}
layer {
  name: "conv4_3_norm_mbox_conf1"
  type: "Convolution"
  bottom: "conv4_3_norm"
  top: "conv4_3_norm_mbox_conf1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 20
    pad: 1
    kernel_size: 3
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -3
    scale: 1.9816087
  }
  blobs_dtype {
    type: DT_FIX8
    position: -9
    scale: 1.298094
  }
}
layer {
  name: "fc7_mbox_loc"
  type: "Convolution"
  bottom: "fc7"
  top: "fc7_mbox_loc"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 24
    pad: 1
    kernel_size: 3
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -5
    scale: 1.2238019
  }
  blobs_dtype {
    type: DT_FIX8
    position: -10
    scale: 1.833989
  }
}
layer {
  name: "fc7_mbox_conf1"
  type: "Convolution"
  bottom: "fc7"
  top: "fc7_mbox_conf1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 30
    pad: 1
    kernel_size: 3
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -5
    scale: 1.2238019
  }
  blobs_dtype {
    type: DT_FIX8
    position: -11
    scale: 1.3894453
  }
}
layer {
  name: "conv6_2_mbox_loc"
  type: "Convolution"
  bottom: "conv6_2"
  top: "conv6_2_mbox_loc"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 24
    pad: 1
    kernel_size: 3
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -4
    scale: 1.2617356
  }
  blobs_dtype {
    type: DT_FIX8
    position: -10
    scale: 1.424156
  }
}
layer {
  name: "conv6_2_mbox_conf1"
  type: "Convolution"
  bottom: "conv6_2"
  top: "conv6_2_mbox_conf1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 30
    pad: 1
    kernel_size: 3
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -4
    scale: 1.2617356
  }
  blobs_dtype {
    type: DT_FIX8
    position: -11
    scale: 1.3239385
  }
}
layer {
  name: "conv7_2_mbox_loc"
  type: "Convolution"
  bottom: "conv7_2"
  top: "conv7_2_mbox_loc"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 24
    pad: 1
    kernel_size: 3
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -3
    scale: 1.8314862
  }
  blobs_dtype {
    type: DT_FIX8
    position: -10
    scale: 1.117411
  }
}
layer {
  name: "conv7_2_mbox_conf1"
  type: "Convolution"
  bottom: "conv7_2"
  top: "conv7_2_mbox_conf1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 30
    pad: 1
    kernel_size: 3
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -3
    scale: 1.8314862
  }
  blobs_dtype {
    type: DT_FIX8
    position: -11
    scale: 1.4387759
  }
}
layer {
  name: "conv8_2_mbox_loc"
  type: "Convolution"
  bottom: "conv8_2"
  top: "conv8_2_mbox_loc"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 16
    pad: 1
    kernel_size: 3
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -3
    scale: 1.267179
  }
  blobs_dtype {
    type: DT_FIX8
    position: -10
    scale: 1.289064
  }
}
layer {
  name: "conv8_2_mbox_conf1"
  type: "Convolution"
  bottom: "conv8_2"
  top: "conv8_2_mbox_conf1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 20
    pad: 1
    kernel_size: 3
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -3
    scale: 1.267179
  }
  blobs_dtype {
    type: DT_FIX8
    position: -11
    scale: 1.3362272
  }
}
layer {
  name: "conv9_2_mbox_loc"
  type: "Convolution"
  bottom: "conv9_2"
  top: "conv9_2_mbox_loc"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 16
    pad: 1
    kernel_size: 3
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -2
    scale: 1.4884329
  }
  blobs_dtype {
    type: DT_FIX8
    position: -10
    scale: 1.2053334
  }
}
layer {
  name: "conv9_2_mbox_conf1"
  type: "Convolution"
  bottom: "conv9_2"
  top: "conv9_2_mbox_conf1"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 20
    pad: 1
    kernel_size: 3
    stride: 1
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
  bottom_mlu_dtype {
    type: DT_FIX8
    position: -2
    scale: 1.4884329
  }
  blobs_dtype {
    type: DT_FIX8
    position: -11
    scale: 1.302187
  }
}
layer {
  name: "detection_out"
  type: "SsdDetection"
  bottom: "conv4_3_norm_mbox_loc"
  bottom: "fc7_mbox_loc"
  bottom: "conv6_2_mbox_loc"
  bottom: "conv7_2_mbox_loc"
  bottom: "conv8_2_mbox_loc"
  bottom: "conv9_2_mbox_loc"
  bottom: "conv4_3_norm_mbox_conf1"
  bottom: "fc7_mbox_conf1"
  bottom: "conv6_2_mbox_conf1"
  bottom: "conv7_2_mbox_conf1"
  bottom: "conv8_2_mbox_conf1"
  bottom: "conv9_2_mbox_conf1"
  bottom: "conv4_3_norm"
  bottom: "fc7"
  bottom: "conv6_2"
  bottom: "conv7_2"
  bottom: "conv8_2"
  bottom: "conv9_2"
  bottom: "data"
  top: "detection_out"
  detection_output_param {
    num_classes: 44
    share_location: true
    background_label_id: 0
    nms_param {
      nms_threshold: 0.45
      top_k: 400
    }
    save_output_param {
    }
    code_type: CENTER_SIZE
    keep_top_k: 200
    confidence_threshold: 0.01
  }
  priorbox_params {
    min_size: 30
    max_size: 60
    aspect_ratio: 2
    flip: true
    clip: false
    variance: 0.1
    variance: 0.1
    variance: 0.2
    variance: 0.2
  }
  priorbox_params {
    min_size: 60
    max_size: 111
    aspect_ratio: 2
    aspect_ratio: 3
    flip: true
    clip: false
    variance: 0.1
    variance: 0.1
    variance: 0.2
    variance: 0.2
  }
  priorbox_params {
    min_size: 111
    max_size: 162
    aspect_ratio: 2
    aspect_ratio: 3
    flip: true
    clip: false
    variance: 0.1
    variance: 0.1
    variance: 0.2
    variance: 0.2
  }
  priorbox_params {
    min_size: 162
    max_size: 213
    aspect_ratio: 2
    aspect_ratio: 3
    flip: true
    clip: false
    variance: 0.1
    variance: 0.1
    variance: 0.2
    variance: 0.2
  }
  priorbox_params {
    min_size: 213
    max_size: 264
    aspect_ratio: 2
    flip: true
    clip: false
    variance: 0.1
    variance: 0.1
    variance: 0.2
    variance: 0.2
  }
  priorbox_params {
    min_size: 264
    max_size: 315
    aspect_ratio: 2
    flip: true
    clip: false
    variance: 0.1
    variance: 0.1
    variance: 0.2
    variance: 0.2
  }
}

量化具体操作

写ssd_float32_dense.prototxt文件

根据deploy.prototxt改成ssd_float32_dense.prototxt。数据层不改动，conv层组参数改整型，删除Permute、Flatten、PriorBox、Concat层，删除Reshape、Softmax层。
检测层：原来PriorBox的priorbox_params（浮点数改为整型）复制到DetectionOutput层，bottom按照实际改，detection_output_param不用动。具体改动结果上面已经给出。

写float32_convert_fix8.ini文件

我的1h8开发版上提供了直接量化工具，只需要修改float32_convert_fix8.ini内容。

[model]
original_models_path = model/ssd_float32_dense.prototxt # 待量化的原始网络结构文件
save_model_path = model/ssd_float32_dense.fix8.prototxt # 量化后网络结构文件

[data]
# 注意以下图片路径只能用其中一个
images_folder_path = ./file_list # 图片路径，里面写了验证集图片的路径
# images_db_path = /lmdb_path # lmdb数据路径
used_images_num = 32 # 迭代的次数。当网络batchsize为1，该值为8时，共迭代8次，读取8张图片；当网络的batchsize为4，该值为8时，共迭代8次，读取32张图片

[weights]
original_weights_path = model/VGG_gtsdb_voc_SSD_300x300_iter_60000.caffemodel # 待量化的.caffemodel权重文件

[preprocess]
mean = 104,117,123 # 均值
std = 1.0 # 缩小倍数，这个std参数会在生成的fix8网络的第一层卷积处，默认是1。
scale = 300, 300 # 图片路径images_folder_path时图片高和宽，即输入层是ImageData层。
crop = 300, 300 # 图片路径images_db_path时图片高和宽，即输入层是Data层。

[config]
int8_op_list = Conv, FC, LRN # 8bit算子列表
use_firstconv = 1 # 是否使用到第一层卷积

直接量化

这边的操作都是在我的虚拟机上

cd /home/jqy/jqy_nfs_server/HCAI1H_HOST_SDK/expr/e02_detection_ssd # 进入要量化的项目的根目录
export LD_LIBRARY_PATH=/home/jqy/jqy_nfs_server/HCAI1H_HOST_SDK/lib/x86 # 导入需要用到的库
../../tools/generate_fix8_pt -ini_file model/float32_convert_fix8.ini # 运行量化工具

处理量化后的文件ssd_float32_dense.fix8.prototxt

转换成寒武纪.cambricon 模型

cd /home/jqy/jqy_nfs_server/HCAI1H_HOST_SDK/expr/e02_detection_ssd/model
../../../tools/caffe genoff -model /home/jqy/jqy_nfs_server/HCAI1H_HOST_SDK/expr/e02_detection_ssd/model/ssd_float32_dense.fix8.prototxt -weights /home/jqy/jqy_nfs_server/HCAI1H_HOST_SDK/expr/e02_detection_ssd/model/VGG_gtsdb_voc_SSD_300x300_iter_60000.caffemodel -mname gtsdb_ssd -mcore 1H8 2>&1 | tee ./say.log

在这里插入图片描述
这一步我失败了，不知道怎么办，惆怅

超超越越一亿粉丝
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
极智AI | 寒武纪 MLU resnet50 量化及离线推理流程
极智视界
10-25 7350
本文介绍了在寒武纪 MLU 中进行 resnet50 量化与离线推理的流程。
1h-8学习（2）：1h-8适配之int8直接量化+转.cambricon格式
weixin_42068754的博客
06-02 470
我尝试量化的模型是我自己训练的VGG_gtsdb_voc_SSD_300x300_iter_60000.caffemodel 目录结构 int8直接量化 修改depoly.prototxt depoly.prototxt就是训练模型时生成的，只需要修改detection_out层的save_output_param。我这些操作都是在虚拟机上进行的，而不是工作站上，gtsdb相关文件全放在/home/jqy/jqy_nfs_server/HCAI1H_HOST_SDK/expr/e02_detection
使用tensorflow自带的工具进行直接8bit量化
andeyeluguo的博客
07-03 7297
首先可以使用docker安装一个最新的cpu版本的tensorflow docker pull tensorflow/tensorflow:latest 1. bazel安装见博客。 2. 在github上下载tensorflow-master的源代码并unzip cd tensorflow-master 3.编译工具 由于新版的tensorflow代码有了变化，旧版的t...
AI芯片：稀疏处理器Cambricon-X分析
qq_37719487的博客
02-01 1377
Cambricon-X: An Accelerator for Sparse Neural Networks 一、稀疏网络   我们以前提到的深度学习网络都属于稠密网络。经过研究发现，神经元间的连接很多都是冗余的，剪枝后反而有助于精度提升。目前网络的稀疏度可以达到90%以上，也就是说原来一个100MB参数的网络，压缩后，只有不到10MB的参数，大大减少了运算量。   对于加速器设计来说，剪枝后带来的一个问题是网络不规则性。如果不能较好的解决该问题，就不能从剪枝中获得理想收益。 二、几种常用的压缩方法 .
tensorflow的量化教程(1)
热门推荐
u012101561的博客
09-10 1万+
前段时间利用tensorflow的量化工具做了量化训练，精度损失很小，有时甚至比浮点模型精度更好一点，确实强大。利用tflite框架在3536上相比浮点模型有了2X左右的速度提升，现在做一个总结记录。 https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/quantize， 这是tensorflow的量化...
ITU-T H.222.0建议书 iso13818-1-CN.zip
11-04
标题中的“ITU-T H.222.0建议书”是指国际电信联盟（ITU）制定的一份关于数字视频和音频编码传输的国际标准，而“iso13818-1-CN.zip”则表明这个压缩包包含的是该标准的中文版，即ISO 13818-1的部分内容。...
3-10-1(列表之ArrayAdapter适配).7z
01-30
这个“3-10-1(列表之ArrayAdapter适配).7z”压缩包可能包含了一个关于如何使用ArrayAdapter来显示列表数据的教学资源。现在，我们将深入探讨ArrayAdapter的工作原理及其在Android开发中的应用。 ArrayAdapter是...
ueditor_release-ueditor1_4_3_1-utf8-jsp.zip
06-01
在本篇中，我们将深入探讨"ueditor_release-ueditor1_4_3_1-utf8-jsp.zip"这个压缩包所包含的内容及其应用，特别关注其UTF-8编码与JSP环境的适配。 1. **百度UEditor简介** 百度UEditor是一款开源的JavaScript富...
vt2-to-pico-8：Vortex Tracker到PICO-8音乐转换器
02-05
3. **PICO-8音频库接口**：PICO-8内建的音频处理功能相对有限，因此转换后的音乐数据必须适配这些函数。转换器需要理解如何将解析后的音乐信息转化为PICO-8的play_tune或相关音效命令。 4. **用户界面**：虽然PICO-...
H-JTAG_V0.7.0.zip_H-JATG 0 6_jatg
最新发布
09-14
1. **多核支持**：由于ARM处理器广泛应用在多核系统中，H-JTAG V0.7.0能同时对多个ARM核心进行编程和调试，这对于多核设备的开发来说是一大福音。 2. **高速编程**：H-JTAG采用优化的算法，能快速地将固件烧录到...
宿主机程序开发方法
weixin_44705725的博客
07-13 387
最近在学习1-H8芯片，这是我对于老师给的资料的一部分的总结，好难哦，看看不懂 主要介绍宿主机上的程序开发方法，即如何移植一个第三方深度学习应用程序的 方法。归纳起来主要有三个过程： 8bit 模型生成 由于 8bit 神经网络模型能够显著减少模型占用的存储空间和处理带宽，目前 1H8 只支 持 8bit 模型，而在其它平台（如 CPU 或 GPU）上训练出来的模型（以 caffe 为例，模型 ...
寒武纪芯片——有自己的SDK，支持tf、caffe、MXNet
weixin_33827965的博客
11-16 642
寒武纪芯片 产品中心>智能处理器IP 智能处理器IP MLU智能芯片 软件开发环境 Cambricon-1A 高性能硬件架构及软件支持 兼容Caffe、Tensorflow、MXnet等主流AI开发平台，已多次成功流片 国际上首个成功商用的深度学习处理器IP产品，可广泛应用于计算机视觉、语音识别、自然语言处理等智能处...
量化新手初识H-M模型
漫步量化
09-11 7430
H-M模型是什么？ H-M模型又称为双贝塔模型，是HenrikssonHenrikssonHenriksson和MertonMertonMerton（1997年诺贝尔经济学奖获得者）在1981年提出的一种与T-M模型相似的却更为简单的对选股和择时能力进行衡量的二项式参数检验模型。 H-M模型用于在基金业绩评估时对基金经理的时机选择能力和证券选择能力进行评价。 H-M模型的表达式 他们将择时...
深度学习框架Caffe学习系列(2)：Ristretto 量化 cifar_small 实验记录
努力努力再努力丶的博客
12-21 2115
这里写自定义目录标题Caffe 量化工具：Ristretto近似方案学习资源量化cifar_small2. cifar_small_solver.prototxt功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX...
Cambricon-X: An Accelerator for Sparse Neural Networks——学习笔记
miffywm的博客
07-23 1394
Cambricon-X: An Accelerator for Sparse Neural Networks——学习笔记 公司AI项目新架构中需要增加稀疏功能，调研学习了cambricon-x的paper，希望能对新架构开发起到启发作用。学习笔记共享出来供大家交流学习，错误处请指正。 1. 文章核心思想 基于稀疏网络模型提出了IM硬件模块设计，完成稀疏控制访存及PE计算加速，提升整体加速性能。 2...
Intel Caffe int8 推理校准工具
yiran103的专栏
08-21 3802
Intel int8 校准的代码源自 Ristretto，虽然没有 8-bit Inference with TensorRT 和 [MXNET-133] Model Quantization with Calibration 中使用 KL散度（Kullback-Leibler Divergence） 的功能高级，但仍可作为 Caffe 用户的福音。待 Tencent/ncnn int8 成熟...
【环境搭建】cambricon测试
luolinll1212的专栏
09-09 618
# -*- coding: utf-8 -*- import torch_mlu import torch_mlu.core.mlu_model as ct import torch_mlu.core.mlu_quantize as mlu_quantize import torch import numpy as np import torchvision.transforms as transforms from torchvision.models.resnet import resnet50 fro
如何使用caffe进行int8和tensorrt训练
csuzhaoqinghui的博客
04-18 2437
首先，在打patch之前需要做两件事，一个是确认未打patch之前训练测试是没有问题的，二最好先做好备份，以防止打patch过程中出现问题无法修复。 以下是几个重要步骤： 1. cd到caffe根目录下，执行命令make clean，将之前编译好的build等文件删除 2. 用git am $PATH/fpga.8-bit..patch命令尝试是否能进行打patch. 3. 如果不能通过上...
判断深度学习模型的稳定性_人工智能干货｜一线工程师带你学习深度学习模型量化理论+实践...
weixin_39681058的博客
11-20 1081
2019年的最后一天，送给自己一份特殊的礼物。模型量化作为一种能够有效减少模型大小，加速深度学习推理的优化技术，已经得到了学术界和工业界的广泛研究和应用。模型量化有 8/4/2/1 bit等，本文主要讨论目前相对比较成熟的 8-bit 低精度推理。 通过这篇文章你可以学习到以下内容：1)量化算法介绍及其特点分析，让你知其然并知其所以然； 2)Pytorch 量化实战，让你不再纸上谈兵；3)模型精度...
D1-H_Tina_Linux_图形系统_开发指南1
08-03
本指南是针对Allwinner D1-H平台的Tina Linux图形系统开发手册，版本1.1，发布于2021年4月8日，由珠海全志科技股份有限公司编撰并保留所有权利。文档具有秘密级别，主要关注于MiniGUI和EFL（ Enlightenment ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值