qq_39804263的博客

课程链接1. Overview人类智能（Human Intelligence）推理 infer预测（prediction）：实体——抽象概念而 machine learning 就是把推理的大脑变成算法How to develop learing system？基于规则的算法（人工智能程序）：依赖于规则，需要非常专业的背景知识来制定规则，构建知识库。如果是很复杂的目标，是很难把规则做通的，肯定会漏一些，导致算法有缺陷。规则只会越来越多，越来越庞大，直到人类无法维护。注意，基于规则的并不是

【代码】刘二大人《PyTorch深度学习实践》作业

paddle ocr gpu配置

conda create -n vsr python==3.7conda activate vsrconda install pytorch==1.7.0 torchvision==0.8.0 torchaudio==0.7.0 cudatoolkit=10.1 -c pytorchpip install mmcv-full==1.3.4 -f https://download.openmmlab.com/mmcv/dist/cu101/torch1.7.0/index.htmlpip instal

一、dataset2coco首先将标注好的json和img放在同一个文件夹中，取名为images。format.py统一修改json中的img_path。将路径修改为统一格式。×××.jpgformat.py 代码如下：import osimport redir_path = '/home/chenghiuyi/03 DLA-CHD/DLA-CHD_TRAIN_NO_CHECK/逻辑分类/01 data/images/'pattern = re.compile('"imagePath"

论文链接：https://arxiv.org/pdf/1706.03762.pdf李沫老师讲解这篇文章非常的详细，视频链接：https://www.bilibili.com/video/BV1pu411o7BE？from=search&seid=4820643104805224410&spm_id_from=333.337.0.01、IntroductRNN的特点，同时也是缺点给一个序列，RNN的计算是从左往右一步一步往前做。假设序列是句子，就是一个词一个词往前看，对第t个词会.

bottom-up：不需要先做检测Panoptic-DeepLab: A Simple, Strong, and Fast Baseline for Bottom-Up Panoptic Segmentation论文链接：https://arxiv.org/pdf/1911.10194.pdfPanoptic-DeepLab框架采用双ASPP双解码器结构预测三个输出，语义分割，实例中心和实例回归Framework：Encoder：ImageNet-Pretrained CNN（wi

UPSNet：A Unified Panoptic Segmentation Network论文链接： https://arxiv.org/pdf/1901.03784.pdf代码链接： https://github.com/uber-research/UPSNet设计一个基于可变形卷积的语义分割头和一个Mask R-CNN 的实例分割头，同时解决这两个子任务引入无参数全景头，通过像素级追踪解决全景分割Backbone采用原始的 Mask R-CNN 主干作为卷积特征提取网络。 该主干利用

SOLO：Segmentation Objects by LocationsSOLO框架

Mask R-CNN框架目的：检测图像中的对象object（bounding box），同时为每个实例生成高质量的分割mask（框中哪个像素属于物体，哪个像素属于背景）第一阶段(RPN)：通过RPN网络提取候选框（哪些区域可能是物体）第二阶段：对于选取出来的候选框，通过RoIAlign或者RoIPooling操作得到固定大小的feature map（包括当前物体的一些信息），通过feature map来预测类别或者bounding box以及mask（mask只对正样本做）Mask R-CNN

语义分割：每个像素所属类别stuff：没有实际的边界，天空，地面 。（不能说多少个天空，地面）object：车、人等。（能用一个一个的数量来衡量）实例分割：每个object的类别以及每个mask（只有object类）做检测只要bounding boxes框，而做实例分割，需要mask，也就是在框中，要知道是属于object类还是背景。全景分割：（语义分割和实例分割结合）对于stuff，要知道类别（是天空还是草地）对于object，要知道类别和第几个实例...

基于语义特征的图推理方法 GINet（Graph Interaction Network for Scene Parsing）研究动机Beyond Grids以及GloRe都是基于视觉图表征来推理上下文GINet考虑用语义知识来增强视觉推理具体方法图构建视觉图的构建：Z为投影矩阵（1×1卷积生成），W为维度变换矩阵（把维度变成D维），N就是node的数量，D就是每个node的维度。语义图的构建：通过group得到类别的embedding，通过MLP做一个维度变换（主要是考虑和视觉图做

Graph-Based Global Reasoning Networks注意：Node不是类别数，只是将相似的像素聚合在一起，可以设置为16或者32，为经验值。图神经网络不是用来做分类的（不是作为classifier），只是将feature map进行分组，分成几个node，然后学习了node之间的关系，最后再返回为feature map（可以理解为学习了node的上下文信息的feature map），图神经网络可以放在model中的任何位置，即插即用（如果用在网络的前端，则node数量要大一点

Beyond Grids：Learning Graph Representations for Visual Recognition具体方法图投影（Graph Projection）本质：把一些特征相似的pixel分配到同一个节点，也就是特征点聚合。如何特征点聚合分配特征X={x1；x2；x3；...；xNx_{1}；x_{2}；x_{3}；...；x_{N}x1​；x2​；x3​；...；xN​}∈RN×dR^{N×d}RN×d到节点集合。其中N=H×W。步骤1：首先计算一个分配矩阵，作

Section1（Theory）1. 图卷积网络的基本概念图神经网络怎么做卷积例如红色节点(Node)，会把红色Node的5个邻居节点上的信息做聚合，或者说，把5个节点的消息传递、汇集在红色Node上。假设有N个节点，形式化表示为：Z=D−12(A+I)D−12XWZ = D^{-\frac{1}{2}}(A + I)D^{-\frac{1}{2}}XWZ=D−21​(A+I)D−21​XW其中矩阵X：Node的表征，每个Node假设为C维的特征向量，把N个节点拼接成X矩阵（N×C维）矩

pspnet.py根据课程和相关材料对pspnet的讲解，实现用Paddle动态图搭建pspnetPSPNet需要调用的backbone会提供给同学：resnet_dilated.py中实现了具有dilation的resnet。建议同学使用ResNet50或者ResNet101为backbone网络。import numpy as npimport paddleimport paddle.fluid as fluidfrom paddle.fluid.dygraph import t..

DeepLab系列网络对应的文章paper链接v1: https://arxiv.org/abs/1412.7062v2: https://ieeexplore.ieee.org/abstract/document/7913730/v3：https://arxiv.org/abs/1706.05587v3+：https://openaccess.thecvf.com/content_ECCV_2018/html/Liang-Chieh_Chen_Encoder-Decoder_with_Atro

PSP分割网络：Pyramid Scene Parsing NetworkScene ~= Semantic SegmentationⅠ. FCN的缺点：分割结果不够精细没有考虑上下文信息（左顾右盼）Ⅱ. PSP网络 —— Context Information1. 缺少上下文信息表现：图中的boat区域和类别"car"的appearance相似模型只有local信息，boat容易被识别成"car"confusion categories：building and skyscrap

U-Net框架U-Net和FCN的区别：FCN特征融合方式为相加U-Net特征融合方式为concat具体操作为：crop + concat

1. basic_seg_loss.pyimport paddleimport paddle.fluid as fluidimport numpy as npimport cv2import matplotlib.pyplot as plteps = 1e-8def Basic_SegLoss(preds, labels, ignore_index=255): n, c, h, w = preds.shape # TODO: transpose preds to NxH