SSD数据增强参数解析

数据增强效果图

假设原图输入是一张640*480的图片，这里由于版面问题我放缩了图片尺寸并且没做mean subtract，由于最后会有resize参数导致输出的图片都会resize到300x300，但是主要看的是增强的效果，SSD中的数据增强的顺序是：

DistortImage: 这个主要是修改图片的brightness，contrast，saturation，hue，reordering channels，并没改变标签bbox

ExpandImage: 这个主要是将DistortImage的图片用像素0进行扩展，标签bbox此时肯定会改变，就重新以黑边的左上角为原点计算[0,1]的bbox的左上角和右下角两个点坐标。

BatchSampler: 由于这里选错图了，BatchSampler必须要有GT的存在才会生效，由于我做的是人的检测所以图中没人就不会生成sampled_bboxes，后面修改例子。sampled_bboxes的值是随机在[0, 1]上生成的bbox，并且和某个gt_bboxes的IOU在[min, max]之间。由于proto中配的max_sample都是为1，所以每个batch_sampler可能会有1个sampled_bbox，随机取一个sampled bbox并且裁剪图片和标签。标签裁剪也很好理解首先要通过ProjectBBox将原坐标系标签投影到裁剪后图片的新坐标系的坐标，然后再ClipBBox到[0,1]之间。

Resize：放缩到300x300，最后将图片放缩到300x300，标签框也是线性放缩坐标而已。

Crop：原本data_transformer还会crop的，这个参数是配在prototxt中，默认是原图 所以就和没crop一样。如果要crop的话标签也是会和之前BatchSampler那样处理。

1. layer {

2. name: "data"

3. type: "AnnotatedData"

4. top: "data"

5. top: "label"

6. include {

7. phase: TRAIN

8. }

9. transform_param {

10. mirror: true

11. mean_value: 104

12. mean_value: 117

13. mean_value: 123

14. resize_param {

15. prob: 1

16. resize_mode: WARP

17. height: 512

18. width: 512

19. interp_mode: LINEAR

20. interp_mode: AREA

21. interp_mode: NEAREST

22. interp_mode: CUBIC

23. interp_mode: LANCZOS4

24. }

25. emit_constraint {

26. emit_type: CENTER

27. }

28. distort_param {

29. brightness_prob: 0.5 ##调整亮度

30. brightness_delta: 32 ##添加像素值

31. contrast_prob: 0.5 ##调整对比度

32. contrast_lower: 0.5 ##随机对比因子的下界

33. contrast_upper: 1.5 ##随机对比因子的上界

34. hue_prob: 0.5 ##调整色调

35. hue_delta: 18 ##调整色调通道数量

36. saturation_prob: 0.5 ##调整饱和

37. saturation_lower: 0.5 ##调整饱和因子的下界

38. saturation_upper: 1.5 ##调整饱和因子的上界

39. random_order_prob: 0.0 ##随机排列图像通道

40. }

41. expand_param {///##存储数据转换器用于扩展策略的参数的消息

42. prob: 0.5 ##使用扩展的概率

43. max_expand_ratio: 4.0 ##扩大图像的比率

44. }

45. }

46. data_param {

47. source: "/home/x306/caffe/xn/image/VEDAI/lmdb/VEDAI_trainval_512_lmdb"

48. batch_size: 2

49. backend: LMDB

50. }

51. annotated_data_param {

52. batch_sampler {///

53. max_sample: 1

54. max_trials: 1

55. }

56. batch_sampler {

57. sampler {

58. min_scale: 0.3 ***********1.0 ##最大尺度与与最小尺度，如果样本几乎是均匀大小的，那么设置为1.0即可。

59. max_scale: 1.0 ***********1.0

60. min_aspect_ratio: 0.5***********1.0 ##最大纵横比与最小纵横比，如果样本框几乎都是正方形的，那么设置为1.0就好。

61. max_aspect_ratio: 2.0***********1.0

62. }

63. sample_constraint {

64. min_jaccard_overlap: 0.1**********1.0 ####采样一个片段，使目标最小的jaccard重叠为0.1，0.3，0.5，0.7，0.9

65. }

66. max_sample: 1

67. max_trials: 50

68. }

69. batch_sampler {

70. sampler {

71. min_scale: 0.3

72. max_scale: 1.0

73. min_aspect_ratio: 0.5 ***************1.0

74. max_aspect_ratio: 2.0 ***************1.0

75. }

76. sample_constraint {

77. min_jaccard_overlap: 0.3 *************1.0

78. }

79. max_sample: 1

80. max_trials: 50

81. }

82. batch_sampler {

83. sampler {

84. min_scale: 0.3

85. max_scale: 1.0

86. min_aspect_ratio: 0.5 *****************1.0

87. max_aspect_ratio: 2.0 *****************1.0

88. }

89. sample_constraint {

90. min_jaccard_overlap: 0.5 *****************1.0

91. }

92. max_sample: 1

93. max_trials: 50

94. }

95. batch_sampler {

96. sampler {

97. min_scale: 0.3

98. max_scale: 1.0

99. min_aspect_ratio: 0.5****************1.0

100. max_aspect_ratio: 2.0****************1.0

101. }

102. sample_constraint {

103. min_jaccard_overlap: 0.7*****************1.0

104. }

105. max_sample: 1

106. max_trials: 50

107. }

108. batch_sampler {

109. sampler {

110. min_scale: 0.3

111. max_scale: 1.0

112. min_aspect_ratio: 0.5******************1.0

113. max_aspect_ratio: 2.0******************1.0

114. }

115. sample_constraint {

116. min_jaccard_overlap: 0.9****************1.0

117. }

118. max_sample: 1

119. max_trials: 50

120. }

121. batch_sampler {

122. sampler {

123. min_scale: 0.3

124. max_scale: 1.0

125. min_aspect_ratio: 0.5*********************1.0

126. max_aspect_ratio: 2.0*********************1.0

127. }

128. sample_constraint {

129. max_jaccard_overlap: 1.0*****************1.0

130. }

131. max_sample: 1

132. max_trials: 50

133. }