百度飞浆图像分割课程 笔记
文章平均质量分 65
享受这时光
这个作者很懒,什么都没留下…
展开
-
百度飞浆图像分割课程 笔记14:全景分割 Panoptic-DeepLab [CVPR 2019]
bottom-up:不需要先做检测Panoptic-DeepLab: A Simple, Strong, and Fast Baseline for Bottom-Up Panoptic Segmentation论文链接:https://arxiv.org/pdf/1911.10194.pdfPanoptic-DeepLab框架采用双ASPP双解码器结构预测三个输出,语义分割,实例中心和实例回归Framework:Encoder:ImageNet-Pretrained CNN(wi原创 2021-10-29 19:46:15 · 798 阅读 · 0 评论 -
百度飞浆图像分割课程 笔记13:全景分割 UPSNet [CVPR 2019]
UPSNet:A Unified Panoptic Segmentation Network论文链接: https://arxiv.org/pdf/1901.03784.pdf代码链接: https://github.com/uber-research/UPSNet设计一个基于可变形卷积的语义分割头和一个Mask R-CNN 的实例分割头,同时解决这两个子任务引入无参数全景头,通过像素级追踪解决全景分割Backbone采用原始的 Mask R-CNN 主干作为卷积特征提取网络。 该主干利用原创 2021-10-29 18:03:12 · 405 阅读 · 0 评论 -
百度飞浆图像分割课程 笔记12:实例分割 SOLO [ECCV 2020]
SOLO:Segmentation Objects by LocationsSOLO框架原创 2021-10-28 16:48:32 · 350 阅读 · 0 评论 -
百度飞浆图像分割课程 笔记11:实例分割 Mask R-CNN [ICCV 2017]
Mask R-CNN框架目的:检测图像中的对象object(bounding box),同时为每个实例生成高质量的分割mask(框中哪个像素属于物体,哪个像素属于背景)第一阶段(RPN):通过RPN网络提取候选框(哪些区域可能是物体)第二阶段:对于选取出来的候选框,通过RoIAlign或者RoIPooling操作得到固定大小的feature map(包括当前物体的一些信息),通过feature map来预测类别或者bounding box以及mask(mask只对正样本做)Mask R-CNN原创 2021-10-27 20:15:41 · 1560 阅读 · 0 评论 -
百度飞浆图像分割课程 笔记10:实例与全景分割的基本概念
语义分割:每个像素所属类别stuff:没有实际的边界,天空,地面 。(不能说多少个天空,地面)object:车、人等。(能用一个一个的数量来衡量)实例分割:每个object的类别以及每个mask(只有object类)做检测只要bounding boxes框,而做实例分割,需要mask,也就是在框中,要知道是属于object类还是背景。全景分割:(语义分割和实例分割结合)对于stuff,要知道类别(是天空还是草地)对于object,要知道类别和第几个实例...原创 2021-10-27 16:19:34 · 153 阅读 · 0 评论 -
百度飞浆图像分割课程 笔记09:基于语义特征的图推理方法 GINet(Graph Interaction Network for Scene Parsing)
基于语义特征的图推理方法 GINet(Graph Interaction Network for Scene Parsing)研究动机Beyond Grids以及GloRe都是基于视觉图表征来推理上下文GINet考虑用语义知识来增强视觉推理具体方法图构建视觉图的构建:Z为投影矩阵(1×1卷积生成),W为维度变换矩阵(把维度变成D维),N就是node的数量,D就是每个node的维度。语义图的构建:通过group得到类别的embedding,通过MLP做一个维度变换(主要是考虑和视觉图做原创 2021-10-27 15:05:36 · 1810 阅读 · 0 评论 -
百度飞浆图像分割课程 笔记08:基于视觉特征的图推理方法 GloRe(Graph-Based Global Reasoning Networks)
Graph-Based Global Reasoning Networks注意:Node不是类别数,只是将相似的像素聚合在一起,可以设置为16或者32,为经验值。图神经网络不是用来做分类的(不是作为classifier),只是将feature map进行分组,分成几个node,然后学习了node之间的关系,最后再返回为feature map(可以理解为学习了node的上下文信息的feature map),图神经网络可以放在model中的任何位置,即插即用(如果用在网络的前端,则node数量要大一点原创 2021-10-26 23:49:32 · 551 阅读 · 0 评论 -
百度飞浆图像分割课程 笔记07:基于视觉特征的图推理方法 Beyond Grids(Learning Graph Representations for Visual Recognition)
Beyond Grids:Learning Graph Representations for Visual Recognition具体方法图投影(Graph Projection)本质:把一些特征相似的pixel分配到同一个节点,也就是特征点聚合。如何特征点聚合分配特征X={x1;x2;x3;...;xNx_{1};x_{2};x_{3};...;x_{N}x1;x2;x3;...;xN}∈RN×dR^{N×d}RN×d到节点集合。其中N=H×W。步骤1:首先计算一个分配矩阵,作原创 2021-10-26 22:17:19 · 747 阅读 · 1 评论 -
百度飞浆图像分割课程 笔记06:语义分割中基于图的上下文建模方法 前置知识
Section1(Theory)1. 图卷积网络的基本概念图神经网络怎么做卷积例如红色节点(Node),会把红色Node的5个邻居节点上的信息做聚合,或者说,把5个节点的消息传递、汇集在红色Node上。假设有N个节点,形式化表示为:Z=D−12(A+I)D−12XWZ = D^{-\frac{1}{2}}(A + I)D^{-\frac{1}{2}}XWZ=D−21(A+I)D−21XW其中矩阵X:Node的表征,每个Node假设为C维的特征向量,把N个节点拼接成X矩阵(N×C维)矩原创 2021-10-26 17:57:13 · 192 阅读 · 0 评论 -
百度飞浆图像分割课程 作业3:pspnet.py、infer.py、resnet_dilated.py、UNet.py
pspnet.py根据课程和相关材料对pspnet的讲解,实现用Paddle动态图搭建pspnetPSPNet需要调用的backbone会提供给同学:resnet_dilated.py中实现了具有dilation的resnet。建议同学使用ResNet50或者ResNet101为backbone网络。import numpy as npimport paddleimport paddle.fluid as fluidfrom paddle.fluid.dygraph import t..原创 2021-10-26 16:24:20 · 430 阅读 · 0 评论 -
百度飞浆图像分割课程 笔记05:DeepLab系列网络 v1-v3 以及代码实现
DeepLab系列网络对应的文章paper链接v1: https://arxiv.org/abs/1412.7062v2: https://ieeexplore.ieee.org/abstract/document/7913730/v3:https://arxiv.org/abs/1706.05587v3+:https://openaccess.thecvf.com/content_ECCV_2018/html/Liang-Chieh_Chen_Encoder-Decoder_with_Atro原创 2021-10-25 23:13:31 · 725 阅读 · 0 评论 -
百度飞浆图像分割课程 笔记04:PSPNet 以及代码实现
PSP分割网络:Pyramid Scene Parsing NetworkScene ~= Semantic SegmentationⅠ. FCN的缺点:分割结果不够精细没有考虑上下文信息(左顾右盼)Ⅱ. PSP网络 —— Context Information1. 缺少上下文信息表现:图中的boat区域和类别"car"的appearance相似模型只有local信息,boat容易被识别成"car"confusion categories:building and skyscrap原创 2021-10-24 17:59:56 · 898 阅读 · 0 评论 -
百度飞浆图像分割课程 笔记03:U-Net 以及代码实现
U-Net框架U-Net和FCN的区别:FCN特征融合方式为相加U-Net特征融合方式为concat具体操作为:crop + concat原创 2021-10-23 17:50:02 · 447 阅读 · 0 评论 -
百度飞浆图像分割课程 作业2:basic_seg_loss.py、basic_dataloader.py、basic_transform.py、basic_train.py、train.py
1. basic_seg_loss.pyimport paddleimport paddle.fluid as fluidimport numpy as npimport cv2import matplotlib.pyplot as plteps = 1e-8def Basic_SegLoss(preds, labels, ignore_index=255): n, c, h, w = preds.shape # TODO: transpose preds to NxH原创 2021-10-22 21:41:47 · 320 阅读 · 0 评论 -
百度飞浆图像分割课程 笔记03:分类->分割、上采样操作、全卷积FCN网络
FCN = Fully Convolutional Networks什么是Fully Convolution Network全卷积,没有全连接层FC标准VGG网络:原创 2021-10-22 00:42:05 · 550 阅读 · 0 评论 -
百度飞浆图像分割课程 作业1:basic_dataloader.py、basic_transforms.py、basic_model.py
import osimport randomimport numpy as npimport paddle.fluid as fluidfrom paddle.reader.decorator import shuffleimport cv2'''实现paddle数据读取的包,针对分割来说 目的: 把图都读到程序当中,让paddle模型能够每次都调用,也就是数据在框架当中都是tensor,并希望更高效的运行,因此需要找一个dataloader paddle虽然提供API,但是我们原创 2021-10-20 18:19:51 · 354 阅读 · 1 评论 -
百度飞浆图像分割课程 笔记01:基础与概念
课程地址:https://aistudio.baidu.com/aistudio/course/introduce/1767?fromQRCode=1&shared=1课程基础深度学习概念:什么是Conv?https://zhuanlan.zhihu.com/p/30994790原始图像通过与卷积核的数学运算,可以提取出图像的某些指定特征(features)。不同卷积核,提取的特征不一样。提取的特征一样,不同的卷积核,效果也不一样。CNN实际上也就是一个不断原创 2021-10-19 21:23:43 · 289 阅读 · 0 评论 -
百度飞浆图像分割课程 笔记02:语义分割算法
语义分割的根本目的:像素级分类!不同分割网络效果语义分割算法的基本流程输入:图像(RGB)cv.imread、dataloader…算法:深度学习模型FCN、UNet…输出:分类结果(与输入大小一致的单通道图)训练过程:输入:image + label前向:out = model(image)计算损失:loss = loss_func(out, label)反向:loss.backward()更新权重:optimizer.minimize(loss)语义原创 2021-10-19 16:36:40 · 339 阅读 · 0 评论