论文笔记-deep learning-detection (2017)

本笔记记录 之后最新的网络的进展。

Spatial Transformer Networks

Fully Convolutional Networks for Semantic Segmentation

创新点1

将fullconect看做为convolutional Network。将输出看做是类别的热点图。

创新点2 -fusion

combine where and what.

如何将最终粗略的map转换为pixel wise的map

使用decovolutional 和convolution过程相反。

训练方法

loss 就是pixel wise loss,使用预训练模型。

R-FCN: network

fcn: full - con-network 全卷积网络。没有fullconnect. 
全卷积意味着没有fullconnect层次。

前向传播

position-sensitive RoI polling: poll 的时候只取对应层次的和对应位置的部分。其他位置不取。这就让feature map和位置产生关系，非常巧妙。

YOYO2 也是全卷积网络。

整体网络结构：

Mask-R-CNN

• 加入segment分支：在Faster-R-CNN的基础上加上 image segment分支组成的。
• mask loss：对每一类的mask实行二进制softmax，这样做可以防止多类之间的竞争。损失函数：loss function . mask分支对于每个RoI有Km2 维度的输出。K个（类别数）分辨率为m*m的二值mask。因此作者利用了a per-pixel sigmoid，并且定义 Lmask 为平均二值交叉熵损失（the average binary cross-entropy loss）.对于一个属于第k个类别的RoI， Lmask 仅仅考虑第k个mask（其他的掩模输入不会贡献到损失函数中）。这样的定义会允许对每个类别都会生成掩模，并且不会存在类间竞争。

• ROI Align: 不再使用阶段的方式，全程使用浮点数，对于浮点数，使用双线性差值的进行差值元素，这一方式大大提高了进度。

deformable network

两点需要注意的地方：

1. offset需要根据图像内容动态生成
2. offset是浮点数，需要进行线性差值。利用线性差值进行反向传播
3. offset是根据图片的内容二动态计算的。输入修正。
4. offset的参数的编写，每组offset 需要的feature数目： 2*kernel_w*kernel_h*col_w*col_w