龙行天下258079-CSDN博客

原创 FCN阅读心得（上）

最近由于专业课上要学生上台将自己读过的论文，便重新拜读了一下语义分割的开山之作，发现经过三个月的学习，自己竟能读懂这篇当时看来晦涩难懂的文章，结合自己读论文的见解以及大神们的博客来详细解释一下这篇论文，希望自己的一些见解能够帮助大家更好的理解这篇文章。首先我们知道这篇文章它是用来解决语义分割问题的，那么什么是语义分割呢？语义分割要是要解决分类问题，只不过它的这个...

2018-12-14 18:18:03 378 1

原创 A Probabilistic U-Net for Segmentation of Ambiguous Images

这篇文章将 UNet 和条件变分自编码器（CVAE）结合在一起，使得 UNet 具有量化预测不确定性的能力，之前的 Dropout 和 Ensemble 是对模型的权重参数构建一个随机变量分布，这篇文章是对输入数据构建一个随机变量分布，目的是对输入产生若干随机扰动(perturbation)，每产生一个波动就输出一个预测值，最后将所有预测值结合起来计算不确定性。具体做法如下图所示，求得一个低维的隐层概率空间(通过Prior Net)，在该空间上进行多次随机采样然后和 UNet 的最后一层特征组合，产生多个输

2021-08-30 16:53:04 2287 3

原创变分自编码器和条件变分自编码器 (VAE & CVAE)

变分自编码器(VAE)变分自编码器(VAE)是通过大量的观测数据 xi\mathbf{x}_{i}xi 总结出数据的分布 p(X)p(\mathbf{X})p(X)，进而可以通过无穷次的采样获取所有的数据 X\mathbf{X}X，包含观测到的 xi\mathbf{x}_{i}xi 以及未观测到的 xj\mathbf{x}_{j}xj，这是个生成式模型，xj\mathbf{x}_{j}xj 就是生成结果。然而分布 p(X)p(\mathbf{X})p(X) 是不存在解析解的，我们构造一个参数化的

2021-08-29 18:23:47 3961

原创 Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles

这篇论文中作者用集成学习的思想来进行不确定性的度量。问题设定训练数据用 D={xn,yn}n=1N\mathcal{D} = \{\mathbf{x}_{n}, y_{n}\}_{n=1}^{N}D={xn,yn}n=1N 表示，x∈RD\mathbf{x} \in \mathbb{R}^{D}x∈RD 代表 DDD 维的数据，对于分类任务，y∈{1,…,K}y \in \{1, \ldots, K\}y∈{1,…,K}, 对于回归任务，y∈Ry \in \mathbb{R}y∈R。给定输入特征

2021-08-27 17:32:06 631

原创 Dropout as a Bayesian Approximation: Representing Model Uncertainty Learning

这篇文章指出，在每个权重层前面应用dropout操作的CNN网络在数学上和**采用变分推理的高斯过程**是等价的

2021-08-25 19:31:50 835 1

原创变分推理(Variational Inference)

给定网络参数 ω\boldsymbol \omegaω, 训练数据集 D=(X,Y)\mathbf{D} = (\mathbf{X}, \mathbf{Y})D=(X,Y), 贝叶斯推断是将网络参数 ω\boldsymbol \omegaω 建模为一个符合某种分布的随机变量而不是确定的值，故给定测试数据 x∗\mathbf{x}^{*}x∗, 贝叶斯网络求取对应预测值y∗\mathbf{y}^{*}y∗ 的公式为：p(y∗∣x∗,X,Y)=∫p(y∗∣x∗,ω)p(ω∣X,Y)dωp\left(\ma

2021-08-25 17:14:11 737

原创高斯过程(Gaussian Process)

高斯过程是对函数的分布进行建模，给定数据 (X,Y)(\mathbf{X}, \mathbf{Y})(X,Y) , 高斯过程便是得到从空间 X\mathbf{X}X 到空间 y\mathbf{y}y 的概率性映射，假设 fff 为所需求得的函数分布，考虑到存在一定的噪声干扰，则从 X\mathbf{X}X 到 y\mathbf{y}y 的概率性映射可表示为：y=f(X)+ϵ,ϵ∼N(0,β−1I)\mathbf{y}=f(\mathbf{X})+ \boldsymbol{\epsilon}, \bol

2021-08-25 15:42:16 1416

原创匈牙利匹配算法的python包实现

from scipy.optimize import linear_sum_assignmentindx_1, indx_2 = linear_sum_assignment(-matric)

2020-09-03 10:37:00 510

原创 numpy 将矩阵中每一列只保留该列的最大值，其他的都置零

import numpy as npmatrix = np.linspace(1,12,12)np.random.shuffle(matrix)matrix = matrix.reshape(3,4)max_index = matrix.argsort(0)[-1, :]one_hot = ~np.eye(4)[max_index].T[:matrix.shape[0], :].astype(np.bool)matrix[one_hot] = 0

2020-07-30 11:34:38 2544

原创 merge_CocoAndFix3

import osfrom pycocotools.coco import COCOimport cv2import numpy as npalpha_1 = 0.25alpha_2 = 0.65cocoDir = r'D:\dataset\coco_2014'dataType = ['train2014', 'val2014']fixationDir = r'D:\dat...

2020-03-21 22:30:55 117

原创 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal

这篇论文是做Few-shot的，正常的全监督神经网络要通过学习来完成一项任务需要大量的标记样本来进行训练，但是人类的大脑可以通过极少数的样本来学习到新的概念，比如儿童可以仅仅通过书籍上的图片来认识到长颈鹿，而机器学习就需要大量样本。神经网络最初本来就是模拟人脑的思考来设计的，这说明神经网络也是可以通过少量样本来学习到新的概念，这种通过极少量样本就能学习到新的概念的任务就是Few-s...

2020-03-05 23:05:04 544

原创 Deep Learning for Light Field Saliency Detection

这篇文章是用来解决显著性检测问题的，只不过他用来训练模型的数据集是Light Field Images，即4D的数据集，在了解4D数据集之前，我们先来了解一下3D的数据集，我们平用来训练模型的图片都是2D图片，而3D多出来的一个维度指的就是像素的深度，之前2D估计包含像素的亮度和颜色，像素的深度是通过像素的聚焦程度体现出来的，如图一中的(b)、(c)、(d)这些图片，这些图片中的某些...

2020-01-09 21:17:27 417 2

原创服务器上自动占GPU卡的脚本

最近服务器比较挤，想train一个模型一时半会找不到空卡，要是守在屏幕前查看有没有空卡太费神了，可以让机器自己查看有沒有空卡，就写一个shell脚本，如下：var=0while [ $var -eq 0 ]do count=0 for i in $(nvidia-smi --query-gpu=memory.used --format=csv,noheader,nouni...

2019-12-07 14:26:25 2217 1

原创 pascal_finetune_dataset_save

import osimport numpy as npimport cv2import pickledata_dir = r"D:\dataset\rank_saliency_battle\PASCAL-S\train\train_gt"img_dir = r"D:\dataset\rank_saliency_battle\PASCAL-S\train\train_imgs"seg...

2019-11-11 21:31:26 119

原创如何在torch中的类似于list中index功能

import torchA = torch.tensor([1,2,3,4])b = torch.tensor([2])ind_for_b_in_A = torch.nonzero(torch.eq(A, b)).squeeze(1)

2019-10-28 09:04:56 601 1

原创 rank_metric_with_precision

import numpy as npimport pickle as pklimport osimport cv2def calc_iou(mask_a, mask_b): intersection = (mask_a + mask_b >= 2).astype(np.float32).sum() iou = intersection / (mask_a + m...

2019-10-22 22:02:30 230

原创 rank_metric_with_spearman

import pickle as pklimport numpy as npimport osimport cv2import pandas as pddef calc_iou(mask_a, mask_b): intersection = (mask_a + mask_b >= 2).astype(np.float32).sum() iou = inters...

2019-10-18 22:29:43 189

原创 prepare_dataset(get_bbox...)

import osimport numpy as npimport cv2import picklepascal_data_dir = '/data/lilong/rank_saliency/dataset/pascal_s/selected_imgs/1'pascal_img_dir = '/data/lilong/rank_saliency/dataset/pascal_s/re...

2019-10-03 16:09:47 573

原创图片掩码

clc;clear;imgDir = 'D:\dataset\PASCAL-S\renamed_imgs';rankDir = 'D:\dataset\PASCAL-S\renamed';outputDir = 'D:\dataset\PASCAL-S\colored_imgs';if ~exist(outputDir, 'dir') mkdir(outputDir)en...

2019-09-10 15:51:32 584

原创 matlab 常见命令

dir()获取给定路径下的所有文件strtok()token= strtok(str)从左到右解析str，使用空白字符作为分隔符，并在token中返回部分或全部文本。

2019-09-03 17:19:33 152

原创 merge_SocAndSalicon

import osimport cv2import numpy as npimport shutilsoc_root_dir = '/disk3/lilong/salient_instance/SOC6K/'#Sets = ['ValSet', 'TrainSet', 'TestSet'] # 600, 3600, 600#Sets = ['ValSet', 'TrainSet']...

2019-09-02 22:08:01 218

原创 merge_cocoAndfix

import osfrom pycocotools.coco import COCOfrom PIL import Imageimport numpy as npcocoDir = '/disk3/lilong/coco_2014'dataType = ['train2014', 'val2014']fixationDir = '/disk3/lilong/coco_2014/f...

2019-09-02 22:07:10 123

原创 python 将list中的多个list合并只有最外层的list

P = [[1,2], [3,4], [5,6]]# 要将P转化成[1,2,3,4,5,6]P = [i for p in P for i in p]

2019-09-02 11:41:39 4301 1

原创 Learning to Learn Relation for Important People Detection in Still Images

这篇论文是用来做静态图片的Important People Detection任务的，具体就是给定social event image和里面的已经检测出来的人物box，预测各个检测出来的人的重要程度，为的是根据图片中的最重要的人物的信息来推断该张social event image里正在发生什么事情，所以该任务还有助于其它事件检测任务，例如event detection，event/...

2019-09-01 22:56:48 373

原创 python中内置的高阶函数

python中有好多函数可以接收一个函数的指针作为参数，这样的函数便是高阶函数，使用高阶函数编程可以使得代码更加简(shi)洁(fen)优(zhuang)雅(bi)，python中常见的高阶函数有：1、map()函数map()时python内置的高阶函数，它接收一个函数 f 和一个 list，并通过把函数 f 一次作用在 list 的每个元素上，得到一个新的 list 并返回。例如：...

2019-08-31 11:30:43 135

原创 Salient Object Detection with Pyramid Attention and Salient Edges

该文章提出了PAGE-Net模型，该模型的创新之处主要包含了两个模块，分别是pyramid attention(即金字塔增强模块)和salient edge detection(即显著性边缘检测模块)，前者可以使得模型更加关注和显著性有关的特征，作者将多尺度的显著性信息利用到atte-ntion机制中去(通过叠加不同尺度的attention实现)，这样可使得attention模块中...

2019-08-30 22:06:38 1964 2

原创常见python命令

assertassert condition检查condition是不是成立，若判断出condition为false，则raise一个AssertionError出来enumeratefor idx, x in enumerate(squeeze, [start=0])在for循环中列举出数组序列中的元素同时给出其索引号，start给出从哪个数开始索引zip...

2019-08-22 09:02:34 146

原创在一个figure窗口下打开多个fig文件

有时我们要分析多个fig时，每个fig都会占一个figure窗口，我们需要在一个figure窗口中显示所有fig文件才会方便我们分析但是一次打开fig文件时，matlab会默认为每个fig提供一个figure窗口，这就让人很头疼打开fig后，有个桌面>>停靠，点击后会将fig放在一个figure窗口中，后续的fig都停靠，最后将统一的figure窗口取消停靠，就会得到想要的结...

2019-07-20 10:32:26 1532

原创常用命令

conda创建环境conda create -n pytorch python=3.6conda删除环境conda remove -n pytorch --all查看cuda，cudnn版本cat /usr/local/cuda/version.txtcat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2...

2019-07-18 21:29:50 103

原创 Image Inpainting for Irregular Holes Using Partial Convolutions

这篇文章是用来做图像修复的，对于损坏较小的图片，损坏的部分的区域的像素分布规律应该是和整张图片或者其周围的完整的区域像素分布的规律是相似的，所以图像的修复便是利用完整区域的像素分布信息去近似还原损坏的区域，深度学习具有优越的特征提取和表达能力，可以很好地应用到图片修复任务中，在这篇文章之前，很多基于深度学习的图像修复方法是在损坏的图像上使用标准的卷积网络，利用卷积核去同时卷积损坏图片...

2019-06-28 11:03:56 499

原创 Long Short Term Memory(LSTM)

LSTM也就是长短期记忆，是用来解决RNN网络中的梯度消失而提出的。首先我们了解一下RNN(循环神经网络)，该网络主要用来处理时序问题，也就是网络的前后输入之间是有联系的，网络不仅要学习输入样本本身的特征，还有学习相邻输入样本之间的关系，所以RNN常用来处理自然语言问题，因为要理解一句话，不仅要理解话里的每个字或单词的意思，还要理解这些字或单词的不同排列顺序会产生什...

2019-05-30 20:47:02 632

原创全连接层如何转化为全卷积层

全连接网络其实和卷积网络是等价的，全连接层就可以转化维卷积层，只不过这个卷积层比较特殊，称之为全卷积层，下面举一个简单的例子来说明全连接层如何转化为全卷积层。图一由图一所示，我们假定要将一个2*2*1的feature map通过全连接层输出一个4维向量，图中的矩阵X便是这2*2*1的feature map，向量Y就是输出的4维向量，全连接层的做法便是将...

2018-12-14 11:14:32 7759 4

龙行天下的博客