1,split()函数+merge()函数
在图像处理时,我们接触到的彩色以RGB居多,为了分析图像在某一通道上的特性,需要将图像的颜色通道进行分离,或者是在对某一颜色通道处理后重新进行融合。
split()和merge()方法是一对互逆操作,split()是对图像进行通道分离,merge()是进行通道合并,灰度图像只有1个通道,一般RGB能分离出3个通道,RGBA图像能分理出4个通道(如.png格式图片)
2,Bottleneck Layer
2.1 什么是瓶颈层
Bottleneck layer又称之为瓶颈层,使用的是1*1的卷积神经网络。之所以称之为瓶颈层,是因为长得比较像一个瓶颈。
如上图所示,经过 [公式] 的网络,中间那个看起来比较细。像一个瓶颈一样。使用 [公式] 网络的一大好处就是可以大幅减少计算量。深度可分离卷积中,也有这样的设计考虑。如果想具体了解如何大幅减少计算量的话,可以参考【深度可分离卷积】
2.2 ResNet中的Bottleneck layer
Bottleneck layer这种结构比较常见的出现地方就是ResNet block了。关于ResNet不太了解的话可以参考一下参考【一文读懂残差网络ResNet】。
如图所示分别是有bottleneck和没有bottleneck的ResNet模块。
Deep Residual Learning for Image Recognition 这篇论文对此的解释是:
The three layers are 1X1, 3X3, and 1X1 convolutions, where the 1X1 layers are responsible for reducing and then increasing(restoring) dimensions, leaving the 3X3 layer a bottleneck with smaller input/output dimensions.
我们看到,使用 1 × 1 1\times1 1×1的网络结构很方便改变维度。灵活设计网络,并且减小计算量。
3,IOU
3.1 什么是IOU
IOU是一种评价目标检测器的一种指标。
下图是一个示例:图中绿色框为实际框(好像不是很绿……),红色框为预测框,当我们需要判断两个框之间的关系时,需要用什么指标呢?
此时便需要用到IOU。
计算IOU的公式为:
可以看到IOU是一个比值,即交并比。
在分子部分,值为预测框和实际框之间的重叠区域;
在分母部分,值为预测框和实际框所占有的总区域。
交区域和并区域的比值,就是IOU。
3.2 IOU的特点
与分类任务不同,我们的预测框的坐标需要去匹配实际框的坐标,而坐标的完全匹配是不现实的。因此,我们需要定义一个评估指标,奖励那些与匹配框匹配较好的预测框。