- 博客(26)
- 收藏
- 关注
RSS订阅原创 刘二大人《PyTorch深度学习实践》笔记 + 作业
课程链接1. Overview人类智能（Human Intelligence）推理 infer预测（prediction）：实体——抽象概念而 machine learning 就是把推理的大脑变成算法How to develop learing system？基于规则的算法（人工智能程序）：依赖于规则，需要非常专业的背景知识来制定规则，构建知识库。如果是很复杂的目标，是很难把规则做通的，肯定会漏一些，导致算法有缺陷。规则只会越来越多，越来越庞大，直到人类无法维护。注意，基于规则的并不是
2024-06-14 21:04:12
1061
1
原创 海康威视 VSR 环境配置
conda create -n vsr python==3.7conda activate vsrconda install pytorch==1.7.0 torchvision==0.8.0 torchaudio==0.7.0 cudatoolkit=10.1 -c pytorchpip install mmcv-full==1.3.4 -f https://download.openmmlab.com/mmcv/dist/cu101/torch1.7.0/index.htmlpip instal
2022-05-19 21:17:42
315
原创 制作coco数据集，并在mmdetection上实验
一、dataset2coco首先将标注好的json和img放在同一个文件夹中，取名为images。format.py统一修改json中的img_path。将路径修改为统一格式。×××.jpgformat.py 代码如下：import osimport redir_path = '/home/chenghiuyi/03 DLA-CHD/DLA-CHD_TRAIN_NO_CHECK/逻辑分类/01 data/images/'pattern = re.compile('"imagePath"
2022-04-07 12:15:50
1065
原创 Attention Is All You Need
论文链接：https://arxiv.org/pdf/1706.03762.pdf李沫老师讲解这篇文章非常的详细，视频链接：https://www.bilibili.com/video/BV1pu411o7BE？from=search&seid=4820643104805224410&spm_id_from=333.337.0.01、IntroductRNN的特点，同时也是缺点给一个序列，RNN的计算是从左往右一步一步往前做。假设序列是句子，就是一个词一个词往前看，对第t个词会.
2021-11-03 14:21:10
472
原创 百度飞浆图像分割课程 笔记14：全景分割 Panoptic-DeepLab [CVPR 2019]
bottom-up：不需要先做检测Panoptic-DeepLab: A Simple, Strong, and Fast Baseline for Bottom-Up Panoptic Segmentation论文链接：https://arxiv.org/pdf/1911.10194.pdfPanoptic-DeepLab框架采用双ASPP双解码器结构预测三个输出，语义分割，实例中心和实例回归Framework：Encoder：ImageNet-Pretrained CNN（wi
2021-10-29 19:46:15
808
原创 百度飞浆图像分割课程 笔记13：全景分割 UPSNet [CVPR 2019]
UPSNet：A Unified Panoptic Segmentation Network论文链接： https://arxiv.org/pdf/1901.03784.pdf代码链接： https://github.com/uber-research/UPSNet设计一个基于可变形卷积的语义分割头和一个Mask R-CNN 的实例分割头，同时解决这两个子任务引入无参数全景头，通过像素级追踪解决全景分割Backbone采用原始的 Mask R-CNN 主干作为卷积特征提取网络。 该主干利用
2021-10-29 18:03:12
411
原创 百度飞浆图像分割课程 笔记12：实例分割 SOLO [ECCV 2020]
SOLO：Segmentation Objects by LocationsSOLO框架
2021-10-28 16:48:32
354
原创 百度飞浆图像分割课程 笔记11：实例分割 Mask R-CNN [ICCV 2017]
Mask R-CNN框架目的：检测图像中的对象object（bounding box），同时为每个实例生成高质量的分割mask（框中哪个像素属于物体，哪个像素属于背景）第一阶段(RPN)：通过RPN网络提取候选框（哪些区域可能是物体）第二阶段：对于选取出来的候选框，通过RoIAlign或者RoIPooling操作得到固定大小的feature map（包括当前物体的一些信息），通过feature map来预测类别或者bounding box以及mask（mask只对正样本做）Mask R-CNN
2021-10-27 20:15:41
1564
原创 百度飞浆图像分割课程 笔记10：实例与全景分割的基本概念
语义分割：每个像素所属类别stuff：没有实际的边界，天空，地面 。（不能说多少个天空，地面）object：车、人等。（能用一个一个的数量来衡量）实例分割：每个object的类别以及每个mask（只有object类）做检测只要bounding boxes框，而做实例分割，需要mask，也就是在框中，要知道是属于object类还是背景。全景分割：（语义分割和实例分割结合）对于stuff，要知道类别（是天空还是草地）对于object，要知道类别和第几个实例...
2021-10-27 16:19:34
157
原创 百度飞浆图像分割课程 笔记09：基于语义特征的图推理方法 GINet（Graph Interaction Network for Scene Parsing）
基于语义特征的图推理方法 GINet（Graph Interaction Network for Scene Parsing）研究动机Beyond Grids以及GloRe都是基于视觉图表征来推理上下文GINet考虑用语义知识来增强视觉推理具体方法图构建视觉图的构建：Z为投影矩阵（1×1卷积生成），W为维度变换矩阵（把维度变成D维），N就是node的数量，D就是每个node的维度。语义图的构建：通过group得到类别的embedding，通过MLP做一个维度变换（主要是考虑和视觉图做
2021-10-27 15:05:36
1820
原创 百度飞浆图像分割课程 笔记08：基于视觉特征的图推理方法 GloRe（Graph-Based Global Reasoning Networks）
Graph-Based Global Reasoning Networks注意：Node不是类别数，只是将相似的像素聚合在一起，可以设置为16或者32，为经验值。图神经网络不是用来做分类的（不是作为classifier），只是将feature map进行分组，分成几个node，然后学习了node之间的关系，最后再返回为feature map（可以理解为学习了node的上下文信息的feature map），图神经网络可以放在model中的任何位置，即插即用（如果用在网络的前端，则node数量要大一点
2021-10-26 23:49:32
566
原创 百度飞浆图像分割课程 笔记07：基于视觉特征的图推理方法 Beyond Grids（Learning Graph Representations for Visual Recognition）
Beyond Grids：Learning Graph Representations for Visual Recognition具体方法图投影（Graph Projection）本质：把一些特征相似的pixel分配到同一个节点，也就是特征点聚合。如何特征点聚合分配特征X={x1；x2；x3；...；xNx_{1}；x_{2}；x_{3}；...；x_{N}x1；x2；x3；...；xN}∈RN×dR^{N×d}RN×d到节点集合。其中N=H×W。步骤1：首先计算一个分配矩阵，作
2021-10-26 22:17:19
755
1
原创 百度飞浆图像分割课程 笔记06：语义分割中基于图的上下文建模方法 前置知识
Section1（Theory）1. 图卷积网络的基本概念图神经网络怎么做卷积例如红色节点(Node)，会把红色Node的5个邻居节点上的信息做聚合，或者说，把5个节点的消息传递、汇集在红色Node上。假设有N个节点，形式化表示为：Z=D−12(A+I)D−12XWZ = D^{-\frac{1}{2}}(A + I)D^{-\frac{1}{2}}XWZ=D−21(A+I)D−21XW其中矩阵X：Node的表征，每个Node假设为C维的特征向量，把N个节点拼接成X矩阵（N×C维）矩
2021-10-26 17:57:13
197
原创 百度飞浆图像分割课程 作业3：pspnet.py、infer.py、resnet_dilated.py、UNet.py
pspnet.py根据课程和相关材料对pspnet的讲解，实现用Paddle动态图搭建pspnetPSPNet需要调用的backbone会提供给同学：resnet_dilated.py中实现了具有dilation的resnet。建议同学使用ResNet50或者ResNet101为backbone网络。import numpy as npimport paddleimport paddle.fluid as fluidfrom paddle.fluid.dygraph import t..
2021-10-26 16:24:20
436
原创 百度飞浆图像分割课程 笔记05：DeepLab系列网络 v1-v3 以及代码实现
DeepLab系列网络对应的文章paper链接v1: https://arxiv.org/abs/1412.7062v2: https://ieeexplore.ieee.org/abstract/document/7913730/v3：https://arxiv.org/abs/1706.05587v3+：https://openaccess.thecvf.com/content_ECCV_2018/html/Liang-Chieh_Chen_Encoder-Decoder_with_Atro
2021-10-25 23:13:31
729
原创 百度飞浆图像分割课程 笔记04：PSPNet 以及代码实现
PSP分割网络：Pyramid Scene Parsing NetworkScene ~= Semantic SegmentationⅠ. FCN的缺点：分割结果不够精细没有考虑上下文信息（左顾右盼）Ⅱ. PSP网络 —— Context Information1. 缺少上下文信息表现：图中的boat区域和类别"car"的appearance相似模型只有local信息，boat容易被识别成"car"confusion categories：building and skyscrap
2021-10-24 17:59:56
905
原创 百度飞浆图像分割课程 笔记03：U-Net 以及代码实现
U-Net框架U-Net和FCN的区别：FCN特征融合方式为相加U-Net特征融合方式为concat具体操作为：crop + concat
2021-10-23 17:50:02
453
原创 百度飞浆图像分割课程 作业2：basic_seg_loss.py、basic_dataloader.py、basic_transform.py、basic_train.py、train.py
1. basic_seg_loss.pyimport paddleimport paddle.fluid as fluidimport numpy as npimport cv2import matplotlib.pyplot as plteps = 1e-8def Basic_SegLoss(preds, labels, ignore_index=255): n, c, h, w = preds.shape # TODO: transpose preds to NxH
2021-10-22 21:41:47
324
原创 百度飞浆图像分割课程 笔记03：分类-＞分割、上采样操作、全卷积FCN网络
FCN = Fully Convolutional Networks什么是Fully Convolution Network全卷积，没有全连接层FC标准VGG网络：
2021-10-22 00:42:05
563
原创 百度飞浆图像分割课程 作业1：basic_dataloader.py、basic_transforms.py、basic_model.py
import osimport randomimport numpy as npimport paddle.fluid as fluidfrom paddle.reader.decorator import shuffleimport cv2'''实现paddle数据读取的包，针对分割来说 目的： 把图都读到程序当中，让paddle模型能够每次都调用，也就是数据在框架当中都是tensor，并希望更高效的运行，因此需要找一个dataloader paddle虽然提供API，但是我们
2021-10-20 18:19:51
361
1
原创 百度飞浆图像分割课程 笔记01：基础与概念
课程地址：https://aistudio.baidu.com/aistudio/course/introduce/1767?fromQRCode=1&shared=1课程基础深度学习概念：什么是Conv？https://zhuanlan.zhihu.com/p/30994790原始图像通过与卷积核的数学运算，可以提取出图像的某些指定特征（features)。不同卷积核，提取的特征不一样。提取的特征一样，不同的卷积核，效果也不一样。CNN实际上也就是一个不断
2021-10-19 21:23:43
293
原创 百度飞浆图像分割课程 笔记02：语义分割算法
语义分割的根本目的：像素级分类！不同分割网络效果语义分割算法的基本流程输入：图像（RGB）cv.imread、dataloader…算法：深度学习模型FCN、UNet…输出：分类结果（与输入大小一致的单通道图）训练过程：输入：image + label前向：out = model(image)计算损失：loss = loss_func(out, label)反向：loss.backward()更新权重：optimizer.minimize(loss)语义
2021-10-19 16:36:40
346
原创 版面分析：[ICCV2017] Fast CNN-based document layout analysis
论文链接：https://openaccess.thecvf.com/content_ICCV_2017_workshops/papers/w18/Oliveira_Fast_CNN-Based_Document_ICCV_2017_paper.pdf自动文档布局分析是认知计算和从文档图像中提取信息的过程中的关键步骤，如特定领域知识数据库创建、图形和图像理解、从表中提取结构化数据等。尽管在过去几年中在这一领域取得了进展，但挑战仍然存在，范围从准确检测内容框到将其分类为语义上有意义的类。1. 动机（Mot
2021-10-19 00:25:50
1811
原创 版面分析：[ICDAR2017] Convolutional Neural Networks for Page Segmentation of Historical Document Images
论文链接：https://arxiv.org/pdf/1704.01474.pdf页面分割是文档图像分析和理解的重要前提步骤。目标是将文档图像分割为感兴趣的区域。与机器打印文档图像的分割相比，历史文档图像的页面分割由于布局结构、装饰、书写风格、退化、噪音大、布局不受影响等多种变化而更具挑战性。因此，传统的页面分割方法不能直接应用于手写历史文档。手写历史文档的分割方法很多，主要分为基于规则的分割和基于机器学习的分割。Ⅰ. 动机（Motivation）手写历史文档的分割的传统方法依赖于精心制作的特征。或
2021-10-18 00:54:26
517
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人