知识点
Jayden yang
光子捕手
展开
-
ubuntu无法打开文件管理器,终端输入nautilus报错
在Linux图行界面准备打开文件管理器时,发现打不开,但其他都可以打开,一顿瞎操作发现可以了。开始发现不能打开以后尝试用命令打开,输入命令出现如下错误:步骤:查看nautilus进程正在运行的内容:ps aux | grep nautilus杀死你看到的所有nautilus进程:sudo kill PIDNUMBER重新启动 nautilus:nautilus -q...原创 2020-05-28 21:08:04 · 5336 阅读 · 0 评论 -
python读取图像方式问题(RGB)
我们在读取图片时由于个人习惯不同,使用不同的包读取,显示图片的结果也不同。所以我们需要作出一些区分。### 方法一:利用PIL中的Image函数Note: 这个函数读取出来不是array格式这时需要用 np.asarray(im) 或者np.array()函数将其转化成array,(区别是 np.array() 是深拷贝,np.asarray() 是浅拷贝)。然后可以使用如下的方法来查...原创 2020-05-08 11:40:56 · 17461 阅读 · 1 评论 -
将文件夹中所有三维图像保存在四维数组中,并保存为.mat格式
我们在读取数据时,时常会遇到.mat格式的图片,这时候我们需要打开可视化。但是我们也在提交测试时,也会需要提交.mat文件。下面我们就将得到的测试图片保存在四维数组中,并生成.mat的字典格式。import numpy as npimport os.pathimport shutilfrom scipy.io.matlab.mio import savemat, loadmatimp...原创 2020-05-04 20:54:20 · 1829 阅读 · 1 评论 -
SCI论文Response Letter和Cover Letter模板
在此之前先区分投稿Cover Letter,修改稿Cover Letter和Response Letter,前两个是写给编辑或者Topic Editor,后者是写给Reviwer。一般来说在提交稿件时我们会附带一封Cover Letter主要是一些客套话跟编辑说的。修改稿Cover LetterDear Professor *** :(***指的是负责你论文的领域编辑,不知道名字就写Ed...原创 2020-04-27 21:34:38 · 17376 阅读 · 0 评论 -
.mat图像显示(MATLAB实现)
对于一些数据集是以.mat格式呈现,我们有时候需要可视化出来看一下。MATLAB代码实现如下:clcclose allload('name.mat')imshow(name);但是我们有时候会遇到.mat文件中保存了多张图像,上面的显示方法不能显示全部图片,这时候我们首先输入命令:>>whos查看数据类型,可以看到维度信息 ...原创 2020-04-27 19:47:29 · 13594 阅读 · 13 评论 -
图像质量评价标准NIQE计算
我们在对图像质量进行评价时,之前的一些标准主要依靠PSNR,SSIM等指标,但是超分或者其他低层视觉任务图像评价来说,这些指标并不符合我们人眼感官,所以NIQE(Natural Image Quality Evaluator)应运而生。NIQE指标是一个客观的评价指标,提取自然景观中的特征来对测试图像进行测试,这些特征是拟合成一个多元的高斯模型。这个模型实际上是衡量一张待测图像在多元分布上的差异,...原创 2020-04-05 15:29:52 · 10168 阅读 · 1 评论 -
RCAN复现
在做对比实验中,需要对比RCAN的论文结果,从GitHub上下载源码以后对论文进行复现。论文只支持Torch==0.4.1, torchvision=0.2.1,所以我在复现时候重建新的环境了。避免了很多麻烦,在其他安装包的时候出现了很多问题,这里一一列举。 ImportError: cannot import name 'PILLOW_VERSION' from 'PIL' 解决方案...原创 2020-04-01 10:49:44 · 3275 阅读 · 10 评论 -
Mobaxterm使用详解
疫情在家使用Mobaxterm远程登录服务器。MobaXterm是一个全功能的终端软件。支持SSH连接,支持FTP、串口等协议。下面是基本使用步骤:单击左上角的”Session”按钮 在弹出框中点击“SSH”选项 在“Remote host”中输入绑定的弹性IP 值 勾选“Specify username”并输入用户名 点击OK,输入password,回车进入控制台如...原创 2020-03-24 21:49:33 · 37778 阅读 · 4 评论 -
语义分割数据集详解(PASCAL-VOC2012,Vocbenchmark,Cityscapes)
在语义分割的一些论文中常常会对几个常用的数据集进行验证,以验证算法的优越性,无论是在分割性能还是分割速度上。在一些模型的复现中,由于不同作者的代码风格不同,所有我们有必要根据自己的数据格式进行稍作修改,所以对于数据集的结构了解是必不可少的,下面就几种常用的分割数据集进行解析。PASCAL-VOC2012数据集介绍官网:http://host.robots.ox.ac.uk/pascal/V...原创 2020-03-17 09:35:09 · 8768 阅读 · 1 评论 -
几种梯度下降法以及batch size与learning rate的关系
深度学习被戏称为“炼金师”,我们需要凭借经验对一些参数进行调试,其中在学习过程中梯度和学习率是比较重要的参数。下面我们首先介绍几种梯度下降法,然后再说明批处理大小与学习率之间的关系。GD(Gradient Descent)在整个训练集中计算当前的梯度,选定一个步长进行更新。GD的优点是,基于整个数据集得到的梯度,梯度估计相对较准,更新过程更准确。GD的缺点,一个是当训练集较大时,G...原创 2020-01-07 11:16:59 · 2977 阅读 · 0 评论 -
Python读取Excel表格并存入txt文件
早上把经管的同学处理一些表格数据,遇到一些问题,总结一下。拿到的数据类型如下所示:#导入所需包import osimport matplotlib.pyplot as pltimport numpy as npimport xlrdimport pandas as pd from datetime import datetimefrom pandas import Se...原创 2019-12-27 10:50:11 · 7115 阅读 · 2 评论 -
python指定像素区域裁剪并将裁剪区域在原图标注
在超分任务中,我们需要将图片的局部拿出来对比,凸显我们算法的优越性。如下图所示,我们需要对各模型的局部进行对比,但是每张图裁剪的位置要相同,这里我们利用python简单实现一下。import os import cv2 import matplotlib.pyplot as plt from PIL import Imagepath = "G:\\SR\\results\\s...原创 2019-12-23 10:20:30 · 4976 阅读 · 0 评论 -
FastAi入门
简介官方文档翻译:Fastai库使用现代最佳实践简化了快速而准确的神经网络的训练。 它基于对fast.ai进行的深度学习最佳实践的研究,包括对视觉,文本,表格和协作(协作过滤)模型的“开箱即用”支持。 如果您正在寻找源代码,请转到GitHub上的fastai存储库。其他博主介绍:Fastai是一个课程平台,一个讨论社区,也是一个PyTorc的顶层框架。Fastai的理念就是让神经网络...原创 2019-11-15 14:16:11 · 1664 阅读 · 0 评论 -
LaTex科学论文写作
关于科学论文的写作,之前也写过一些零散的总结。对科学论文的写作流程做一个总结。一般情况下,科学类论文包含论文正文,图表等相应的内容。在LaTeX中都需要相应的代码进行插入,参考文献也是通过自己构建数据库然后调用代码进行编译。从期刊网站下载模板以后整体框架我们是不能改变的(有的期刊模板真的很丑),但是由于插入的图表格式等需求,我们需要导入相应的LaTeX包。一般情况下,如下的一些包就够用了,...原创 2019-11-03 11:30:10 · 941 阅读 · 0 评论 -
用Visio画深度学习模型矢量图
在写深度学习相关论文时,我们常常需要把模型机构画出来。绘图工具也千差万别,我们一般采用PPT和Visio画图工具。画图以后我们尽可能的使得图片美观,且图片最好为矢量图,图片中的文字可以复制,更重要的是分辨率不会下降。下面就说明一下步骤:个人觉得PPT画图比Visio好用一些,所以画图都是在PPT上进行的,然后全选复制。下面主要说明一下Visio中的操作步骤。新建空白绘图,将从PPT(Wor...原创 2019-10-20 11:58:55 · 11464 阅读 · 0 评论 -
LaTex科学论文写作入门
Latex作为大多期刊指定写作工具,并不像Word入门低。但是从美观角度来说LaTeX完胜Word,尤其在公式的编辑上。下面就LaTeX入门遇到的一些问题,写一篇关于LaTeX的文章。1. 初识LaTeXLaTeX, 是一种基于TEX的排版系统,由美国电脑学家莱斯利·兰伯特在20世纪80年代初期开发,利用这种格式,即使用户没有排版和程序设计的知识也可以充分发挥由TEX所提供的强大功能,能...原创 2019-10-16 09:43:50 · 744 阅读 · 0 评论 -
深入理解卷积与模型大小问题,解决显存不足
目录前言:GPU基础知识卷积神经网络参数参数的显存占用梯度与动量的显存占用输入输出的显存占用节省显存的方法减少卷积层的计算量常用模型 显存/计算复杂度/准确率建议前言:在训练自己的模型时常常出现显存不足等问题,这个时候我们常用的方法就是调参。一般常用的方法有以下几点:模型压缩 网络参数调整,比如减小训练图像大小,降低FC output个数,使...原创 2019-09-18 23:23:23 · 5223 阅读 · 0 评论 -
利用pytorch模型可视化以及参数计算
我们在设计完程序以后希望能对我们的模型进行可视化,pytorch这里似乎没有提供相应的包直接进行调用,参考一些博客,下面把代码贴出来:import torchfrom torch.autograd import Variableimport torch.nn as nnfrom graphviz import Digraph def make_dot(var, params=N...原创 2019-09-17 16:20:47 · 2168 阅读 · 0 评论 -
python实现图像傅里叶变换
在做超分辨重建任务时,需要对重建图像做出评价,主要是人眼感官上的评价。这就需要我们从空域和频域两个方面对图像进行评价。下面给给出python实现的结果,并给出相应的代码。图像(MxN)的二维离散傅立叶变换可以将图像由空间域变换到频域中去,空间域中用x,y来表示空间坐标,频域由u,v来表示频率,二维离散傅立叶变换的公式如下: 在python中,n...原创 2019-08-28 16:51:31 · 34321 阅读 · 11 评论 -
(语义分割数据增强)data与label同时随机裁剪
在语义分割任务中,由于标注难度比较大,数据集有限的情况下,我们常常使用数据增强技术对已有的数据进行出来。尤其在语义分割任务中需要对图片还有label同时进行裁剪。下面就简单介绍一下如何实现对数据和label的同时裁剪:import osimport torchimport numpy as npfrom torch.autograd import Variablefrom torch...原创 2019-04-16 14:52:10 · 6292 阅读 · 8 评论 -
为什么在语义分割任务中都将label转化为单通道?
看众多语义分割经典算法的复现中常常都在训练之前将label的RGB图转化为单通道的灰度图,尤其深度学习的出现以及算力的不断提升为什么还需要灰度图进行训练呢?查找相关资料有以下几点原因:梯度信息对于识别物体来说很重要。所以我们可以把灰度图像看作图像的强度(Intensity),来求一些梯度特征。比较常用的有 HOG,LBP,SIFT等等。如下图为行人检测中的hog模型。通过hog来检测部件,...原创 2019-04-23 19:35:10 · 3991 阅读 · 6 评论 -
为什么正则化可以防止过拟合?
以下理解来源于吴恩达老师深度学习视频为什么正则化有利于预防过拟合呢?为什么它可以减少方差问题?我们通过两个例子来直观体会一下。左图是高偏差,右图是高方差,中间是Just Right,这几张图我们在前面课程中看到过。直观上理解就是如果正则化参数设置得足够大,权重矩阵被设置为接近于0的值,直观理解就是把多隐藏单元的权重设为0,于是基本上消除了这些隐藏单元的许多影响。如果是这种情况,...原创 2019-04-23 22:41:02 · 13993 阅读 · 1 评论 -
Batch Norm、Layer Norm、Instance Norm、Group Norm、Switchable Norm总结
目录1.综述1. BN2. LN3. IN4. GN5. SN2. 结论1.综述在入门深度学习时就深度学习中的一些概念做了一些介绍,但随着学习的不断深入,一些网络优化的技巧越来越多,才发现之前的理解的不够深入。在这里有对BN的理解,对出现的几种归一化进行一些个人理解的介绍,首先看一个直观图归一化层,目前主要有这几个方法,Batch Normal...原创 2019-05-08 11:04:05 · 12745 阅读 · 1 评论 -
json文件中数据类别个数统计与类别信息可视化
将json文件保存的数据信息利用URL下载数据以后,希望将统计出数据集中每一类图片个数,且进行可视化,看数据分布是否均匀,然后在进行相应的操作。数据还是kaggle比赛中提供的数据集,json文件内容如下:python实现上述要求:#导入相应的包,有些不一定用到import sys, os, multiprocessing, urllib3, csvfrom PIL impor...原创 2019-05-09 17:18:44 · 2973 阅读 · 0 评论 -
找出数据集中出现样本个数最多与最少的10个类别
前面我们通过可视化手段看到每个类别中训练集图片数量是不均匀的,我们需要将数目最多和最少的10个类别找出来,进行相应的处理!代码实现如下:import sys, os, multiprocessing, urllib3, csvfrom PIL import Imagefrom io import BytesIOfrom tqdm import tqdmimport jsonfro...原创 2019-05-09 17:24:54 · 1507 阅读 · 0 评论 -
利用URL下载json文件中包含的数据集
第一次参加kaggle竞赛,因为数据集很大,所以数据集是放在json文件中的。形式为:我们需要读取json文件并利用url下载数据集,代码如下:import sys, os, multiprocessing, urllib3, csvfrom PIL import Imagefrom io import BytesIOfrom tqdm import tqdmimport...原创 2019-05-07 14:44:56 · 3911 阅读 · 1 评论 -
关于GoogleNet中1*1卷积与多尺度同时卷积聚合的问题
在深度神经网络中我们常常要解决随着网络的加深带来的一些梯度消失,模型退化,还有随着网络加深参数指数级增长等问题。在Inception结构中使用了1*1卷积进行降维,同时在多尺度上同时进行卷积在聚合,这么做目的是:1. 在相同的尺寸上感受野中叠加更多的卷积,能够提取更加丰富的特征NIN(network in network 2013)。在这里说一些NIN网络中的一些内容:采用 mlpcon...原创 2019-05-10 14:55:38 · 2221 阅读 · 0 评论 -
读取保存在txt文件中的loss记录,并绘图
同时利用三个网络结构进行训练时,训练结束将训练产生的loss保存在三个txt文件中,文件内容如下: 因为txt文件中包含字符所以需要将字符剔除,在进行绘图!下面需要字符剔除后再将loss进行绘图,并将三个网络产生的loss进行直观的比较。代码如下:import matplotlib.pyplot as ...原创 2019-05-21 12:30:44 · 6374 阅读 · 5 评论 -
深度学习笔记(十二)---One-hot编码
在学习语义分割过程中,最后的逐像素分类网络中,对像素进行分类时使用了one-hot编码,这也是现分类任务中常用的一种分类方式。那么什么是one-hot编码呢?为什么使用One-hot呢?One-hot 编码:称为一位有效编码,主要是采用N位状态寄存器来对N个状态进行编码,每个状态都由他独立的寄存器位,并且在任意时候只有一位有效。One-Hot编码是分类变量作为二进制向量的表示。这首先要求将分类...原创 2019-04-10 10:23:39 · 8382 阅读 · 0 评论 -
轻量化卷积神经网络(SqueezeNet,MobileNet,ShuffleNet,Xception)
目录摘要SqueezeNet (AlexNet-level accuracy with 50x fewer parameters and < 0.5MB model size)MobileNetShuffleNetXception总结摘要在最近阅读的一些论文中常常出现MobileNet,Xception等模块,下面将对几种轻量化卷积神经网络进行介绍,并给出论文...原创 2019-06-10 19:12:44 · 3653 阅读 · 0 评论 -
史上最全语义分割综述(FCN,UNet,SegNet,Deeplab,ASPP...)
目录语义分割综述摘要语义分割领域研究现状灰度分割条件随机场深度学习方法数据集与评价指标常用数据集评价指标模型介绍语义分割综述摘要语义分割(全像素语义分割)作为经典的计算机视觉问题(图像分类,物体识别检测,语义分割)。其涉及将一些原始数据(例如:平面图像)作为输入并将它们转换为具有突出显示的感兴趣区域的掩膜,其中图像中的每个像素根据其所属的对象被分...原创 2019-07-19 14:04:38 · 69934 阅读 · 11 评论 -
python实现图像高斯滤波,以及几种图像格式的差异
利用python实现高斯滤波,并没有什么难度。但在实现过程出现一些有意思的过程!首先利用opencv实现很简单,代码如下:import cv2import datetimeimport matplotlib.pyplot as plt import numpy as npimport PILf = plt.imread('G:\SR\HR_image\img_1_HR.jpg...原创 2019-08-19 21:45:10 · 5486 阅读 · 2 评论 -
PyTorch中AdaptiveAvgPool函数解析
自适应池化(AdaptiveAvgPool1d):对输入信号,提供1维的自适应平均池化操作 对于任何输入大小的输入,可以将输出尺寸指定为H*W,但是输入和输出特征的数目不会变化。torch.nn.AdaptiveAvgPool1d(output_size)#output_size:输出尺寸对输入信号,提供1维的自适应平均池化操作 对于任何输入大小的输入,可以将输出尺寸指定为H...原创 2019-08-10 17:42:27 · 21926 阅读 · 0 评论 -
图像质量评价指标之 PSNR(峰值信噪比) python实现
PSNR(峰值信噪比)是单图像超分辨率重建中评价图像质量的一项重要指标,下面给出几种基于python语言的实现方法!公式推导:给定一个大小为 m×n 的干净图像 I 和噪声图像 K ,均方误差 (MSE) 定义为: PSNR(dB)就定义为: 方法一:纯公式计算...原创 2019-08-20 15:58:14 · 12085 阅读 · 10 评论 -
RuntimeError:one of the variables needed for gradient computation has been modified by an inplace...
调试过程出现如下错误:RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [4, 3, 513, 513]], which is output 0 of ReluBackward1...原创 2019-08-27 14:11:24 · 9012 阅读 · 4 评论 -
卷积,反卷积,空洞卷积
卷积神经网络中卷积核的作用在于特征的抽取,越是大的卷积核尺寸就意味着更大的感受野,当然随之而来的是更多的参数。早在1998年,LeCun大神发布的LetNet-5模型中就会出,图像空域内具有局部相关性,卷积的过程是对局部相关性的一种抽取。但在深度卷积网络中,我们使用多次池化,下采样在增大感受野的同时使得信号的分辨率变小。且在卷积池化的过程中,尺寸会快速变小,我们常常会使用填充手段来解决这个问题...原创 2019-04-18 09:56:41 · 6139 阅读 · 2 评论