视频链接:https://www.bilibili.com/video/BV1Dx411n7UE?p=11
文章目录
- 收获
- 1. 总览
- 2. Semantic Segmentation(产生输入图像每个像素的类别标签)
- 3. Classfication + Localization
- 4. Object Detection
- Object Detection as Classification:Sliding Window(不可行,不知道框的位置,大小,长宽比)
- Region Proposals(固定算法,作用:给出候选框)
- R-CNN(利用Region Proposals给定的候选框)
- Fast R-CNN(在特征图上做Region Proposals,最后一层直接做分类 + 预测,瓶颈在Region Proposals)
- Faster R-CNN(利用一个RPN网络代替Region Proposals算法)
- Detection without Proposals:YOLO / SSD
- Aside:Object Detection + Captioning = Dense Captioning(目标检测 + RNN)
- 介绍上面那个目的:你可以将很多想法 组合在一起(good idea)
- 5. Instance Segmentation
收获
本节讲了语义分割,分类 + 定位,目标检测,实例分割。
-
语义分割:每个像素点都要有分类。
- 每个像素点做一个滑动窗口?(计算昂贵)
- 全卷积,共享卷积计算
- 下采样 + 上采样(进一步优化)
-
分类 + 定位(一个对象)
- 在分类的基础上多加一个 分支做回归任务
-
目标检测(多个对象)
- 不知道对象有多少个,所以不能用上面的方法。
- R-CNN(Region Proposals给出候选框),Fast R-CNN(Region Proposals在特征层上做),Faster R-CNN (RPN网络代替Region Proposals)
- YOLO / SSD(直接一次输出所需要的目标(位置,分类))
-
实例分割(对象 像素点分类)
- Mask R-CNN(上面分支做目标检测,下面分支做语义分割,Mask R-CNN统一这些框架,还可以加多一个分支(固定数量的预测) 做姿态估计)
Mask R-CNN给我最大的启示:
- 你可以将多个想法结合在一起,用其它问题学到的组件组合在一起,共同构造一个端到端的网络。例如提到的Dense Captioning 和 Mask R-CNN does pose(Mask R-CNN做姿态估计(目标检测 + 实例分割 + 定位))
1. 总览
2. Semantic Segmentation(产生输入图像每个像素的类别标签)
不区分实例,可能重复在一起,如右下,
Semantic Segmentation Idea:Sliding Window(第一个浅显的想法,计算昂贵)
Semantic Segmentation Idea:Fully Convolutional(共享卷积计算,缺点:计算昂贵,占用大量内存)
Q1:训练数据哪里来?
Q2:损失函数是什么?
每个像素的交叉熵损失
Q3:一开始就知道训练的类别?
是的,固定标签
Semantic Segmentation Idea:Fully Convolutional(改进版:下采样)
Q4:如何进行上采样?
下采样和上采样是结构对称的,哪个元素也是对应的
Q5:为什么这样做是个好主意?(指上下采样元素对应)
最大池化会丢掉一些空间信息,需要从这个元素还原回来处理细节
Learnable Upsampling:Transpose Convolution(可学习的上采样,转置卷积)
卷积
跨步卷积(指stride = 2)
转置卷积(重叠的部分 求和,这样边界就凸显了?)
转置卷积,1D展示
语义分割总结,模型概览
3. Classfication + Localization
加多一组,把Localization当作是回归问题
Aside:Human Pose Estimation
分类 + 定位总结:固定数量的回归输出
4. Object Detection
目标检测难点:不知道多少个对象
Object Detection as Classification:Sliding Window(不可行,不知道框的位置,大小,长宽比)
Region Proposals(固定算法,作用:给出候选框)
R-CNN(利用Region Proposals给定的候选框)
运行大约每张图2000框候选框,慢
Fast R-CNN(在特征图上做Region Proposals,最后一层直接做分类 + 预测,瓶颈在Region Proposals)
Faster R-CNN(利用一个RPN网络代替Region Proposals算法)
Detection without Proposals:YOLO / SSD
Aside:Object Detection + Captioning = Dense Captioning(目标检测 + RNN)
介绍上面那个目的:你可以将很多想法 组合在一起(good idea)
5. Instance Segmentation
Mask R-CNN
多分支
上面的分支是目标检测
下面的分支是语义分割
就这样组合起来训练一个端到端的网络,cool!
再加多一个分支:预测关节这些坐标(做 姿态估计)