本笔记记录 之后最新的网络的进展。
Spatial Transformer Networks
Fully Convolutional Networks for Semantic Segmentation
创新点1
将fullconect看做为convolutional Network。将输出看做是类别的热点图。
创新点2 -fusion
combine where and what.
如何将最终粗略的map转换为pixel wise的map
使用decovolutional 和convolution过程相反。
训练方法
loss 就是pixel wise loss,使用预训练模型。
R-FCN: network
fcn: full - con-network 全卷积网络。没有fullconnect.
全卷积意味着没有fullconnect层次。
前向传播
position-sensitive RoI polling: poll 的时候只取对应层次的和对应位置的部分。其他位置不取。这就让feature map和位置产生关系,非常巧妙。
YOYO2 也是全卷积网络。
整体网络结构:
Mask-R-CNN
- 加入segment分支:在Faster-R-CNN的基础上加上 image segment分支组成的。
- mask loss:对每一类的mask实行二进制softmax,这样做可以防止多类之间的竞争。损失函数:loss function . mask分支对于每个RoI有Km2 维度的输出。K个(类别数)分辨率为m*m的二值mask。因此作者利用了a per-pixel sigmoid,并且定义 Lmask 为平均二值交叉熵损失(the average binary cross-entropy loss).对于一个属于第k个类别的RoI, Lmask 仅仅考虑第k个mask(其他的掩模输入不会贡献到损失函数中)。这样的定义会允许对每个类别都会生成掩模,并且不会存在类间竞争。
- ROI Align: 不再使用阶段的方式,全程使用浮点数,对于浮点数,使用双线性差值的进行差值元素,这一方式大大提高了进度。
deformable network
两点需要注意的地方:
- offset需要根据图像内容动态生成
- offset是浮点数,需要进行线性差值。利用线性差值进行反向传播
- offset是根据图片的内容二动态计算的。输入修正。
- offset的参数的编写,每组offset 需要的feature数目: 2*kernel_w*kernel_h*col_w*col_w