深度学习笔记
文章平均质量分 60
CUHK-SZ-relu
一只小程序员
展开
-
点云网络的论文理解(七)-Frustum PointNets for 3D Object Detection from RGB-D Data
名词解释RGB:就是彩色图像。RGB-D:就是彩色图像外加一个深度,这个深度就是摄像头到那个东西的距离。单目RGB-D:就是一个摄像头采集RGB-D数据双目RGB-D:就是两个摄像头一起采集RGB-D数据,这样类似于两个眼睛的效果,可以更加有效地推算出位置。0.Abstract0.1逐句翻译In this work, we study 3D object detection from RGB-D data in both indoor and outdoor scenes.在本工作中,我们研原创 2021-12-07 23:14:40 · 1670 阅读 · 1 评论 -
geyser学习记录(day2):我们在命令行当中怎么使用这个架构?
其实我们只要学习一个命令就行:geyser -l xxx.log -q xxx.yaml > /dev/null &1.首先理解最基础的版本:这个东西就跟我们使用python xxx.py一样就是运行这个文件。geyser xxx.yaml这就是运行这个配置文件2.其次如果您只传入一个内容,架构就会自动将其认为是一个配置文件然后开始执行,但是有时候我们还需要指定我们将日志文件放在哪里。这里我们就需要传入两个文件名,架构就不清楚谁对谁,所以我们需要用如下的参数分别指定。gey原创 2021-11-01 16:43:40 · 1050 阅读 · 0 评论 -
geyser学习记录(day1):将任务拆分的架构
所有的内容都是对这个文档的理解:geyser的文档:geyser0.一个核心思想我们在学习这个框架的时候首先我们得知道这个东西是用来干什么的?设计思想是什么?这个框架的主要设计思想就是将一个个任务进行拆分,之后通过一个配置文件直接控制全部的程序执行,这样的好处就是我们一旦将代码写完之后,我们进行baseline或是消融实验的时候,我们都不再需要修改代码了,只需要简单的修改配置文件就可以了。核心思想在我理解看来就是:通过调整一个配置文件可以控制整个程序的执行过程,甚至各个模块之间的执行顺序。并且和原原创 2021-11-01 15:38:35 · 215 阅读 · 0 评论 -
降噪自动编码器:DAEs
什么是自动降噪编码器?就是我们使用无监督的方式:完成自动降低数据中的无关紧要信息的方法:理解一下这个东西1.这里的dropout到底是做什么的?我们想这样的一个问题,如果我们不使用dropout,那么训练出来的东西,很有可能只是将原来的内容直接拷贝一份,显然和我们的初衷不一样,所以我们需要丢到一部分,让模型学会从其他剩下的信息当中恢复这个。而不是直接得到这个。2.这里其实我们不难证明这个东西的结果(a1,a2。。。an)当中的aj是一定不来自aj(或者描述为很少来自aj)的,因为如果输出当中原创 2021-09-15 10:34:58 · 1288 阅读 · 0 评论 -
Batch Normalization的细致理解
最近读论文遇见很多对BN的优化,例如MoCo当中的shuffling BN、Domain Generalization。连原来是什么东西都不知道,怎么看优化呢?1.不就是归一化吗?其实并不是可能大家觉得这个东西不就是一个归一化的过程吗?其实并不是这样的一个过程。我们假定我们直接使用一个归一化,也就是我们本来天马行空的数据直接我们将其拉到均值为0方差为1,那么这样就出现一个问题:在BN层之后的模型必须是接收均值为0方差为1的模型,这可能不太符合普遍规律。所以BN的作者在这上面加入了一个新的内容就是一个原创 2021-08-30 15:45:51 · 532 阅读 · 0 评论 -
深度学习答疑记录
为什么选择标准数据集?因为大家都用一样的数据集,这样比较公平,更有说服力。Loss重要吗?很重要,因为网络结构很经典,一般我们都是重新组合经典结构,但是loss非常灵活,表现的差异很大。并且不需要很多GPU资源来做尝试计算。Cv竞争激烈?每个领域都用,农业、医学、工厂等都用,所以出路还是很多的。怎么找到好的想法?别人没做过,但是我也做不好,还不如不做,不如在别人基础上修改别人的,取得更好的效果。所以不用特别在意的去寻找完全没有人做过的方向。...原创 2021-07-09 11:31:31 · 198 阅读 · 0 评论 -
什么是Precision和Recall和FPR和TPR?
提出的原因–Acc的作用有时候并不好。我们看这样的一个问题,新冠肺炎的问题。我们构建一个模型是用来测试大家有没有感染新冠肺炎。这样的话,在当今中国绝大多数的人都不感染肺炎,那么我提出这样一个模型,就是我认为大家都不感染肺炎,你会惊奇的发现,这个随便提出的模型的正确率竟然可以超过99.9%。他的效果非常好然后就可以投入使用了。但是,这个模型将带来灾难性的结果,因为如果放过一个感染者,他马上就能变出一片来。显然,现在正确率已经不解决问题了,我们需要Recall和那么这俩是什么呢?TP的意思是:本身是原创 2021-07-07 18:45:42 · 1354 阅读 · 0 评论 -
隐式马可夫模型(hidden markov model,HMM)
马可夫的有关知识整理马可夫性就是强调一个将来的状态和现在状态的一种无关性。“将来”和“过去”无关的这种特性就是强马尔科夫性。马可夫夫过程既然上面已经说出来了马尔科夫性的定义了,这里我们就来搞懂马尔科夫过程的事,马尔科夫过程就是一个符合马尔科夫性的过程。例如,我们已知一只青蛙是没有记忆的,那么这个青蛙下一步跳向什么地方就一定是和之前跳过的地方是没有关系的,那么青蛙第i次跳的位移就是一个马尔科夫过程。但是,这里我们只强调了一件事情就是将来和过去是没有关系的,但是将来和现在可是有关系的哇,这就要求我们只原创 2021-06-08 11:20:58 · 557 阅读 · 0 评论 -
空间金字塔池化SPP
空间金字塔池化1.提出的原因下面这里是我们在网上反复可以看见的话(所以关键是理解这些内容):提出的原因:在SPP提出之前,传统的网络具有它有两大缺点:1、通常需要输入固定大小的图片来进行训练和测试。对于大小不一的图片,需要经过裁剪,或者缩放等一系列操作,将其变为统一的尺寸。但是这样往往会降低识别检测的精度。**2、计算量较大,严重影响速度R-CNN预设1000~2000个候选区域 (采用Selective Search 方法),并分别在每个候选区域进行特征提取。这个想想就害怕,因为图片上有些区域原创 2021-06-02 14:09:50 · 453 阅读 · 0 评论 -
DeepLab v2
语义分割面临的挑战1.第一个问题就是分辨率,我们在学习FCN模型当中,我们知道我们是在不断地使用下采样块提取图片的特征,再通过上采样还原图片的尺寸。连续的卷积和池化会大幅度降低图片的清晰程度,也就是降低了分辨率,且在上采样的过程中难以恢复。因此越来越多的网络都在想办法降低下采样对分辨率的影响,例如空洞卷积、或是步长为2的卷积来代替池化等操作来解决这个问题。诸如此类的方法,被证明是有效的。...原创 2021-05-31 16:26:22 · 625 阅读 · 0 评论 -
DeepLab v2的摘要部分(翻译加理解)
原文翻译In this work we address the task of semantic image segmentation with Deep Learning and make three main contributions在这个工作当中,我们聚焦深度学习当中图片予以分割问题,并做出了三个主要贡献that are experimentally shown to have substantial practical merit. First, we highlight convoluti原创 2021-05-31 15:48:38 · 221 阅读 · 0 评论 -
什么是空洞卷积?
从目的出发我们在进行特征提取,也就是所谓的下采样的过程当中,可能会损失分辨率,使得原有的特征消失,所以我们想要让得到的图片和原有图片更加接近。我们提出来了空洞卷积。我们空洞卷积到底是什么具体是什么我们应当看看下图:a是普通的卷积过程(dilation rate = 1),卷积后的感受野为3b是dilation rate = 2的空洞卷积,卷积后的感受野为5c是dilation rate = 3的空洞卷积,卷积后的感受野为8可以看到所谓的空洞卷积就是在卷积的计算过程中,有隔过去的内容。我个人对原创 2021-05-26 19:25:53 · 419 阅读 · 0 评论 -
FCN全连接卷积网络(5)--Fully Convolutional Networks for Semantic Segmentation阅读(相关工作部分)
相关工作相关工作1.重新设计和微调现有的分类模型来指导语义分割的密集预测内容。2.虽然进去已有研究团队将卷积网络应用到密集预测任务当中,但是这些方面存在着一些不足,入感知范围有限、需要传统方法进行后处理等。3.与现有网络不同,FCN使用图像分类作为监督式预训练来调整和扩展深度分类结构,并通过全卷积网络进行微调,目的是从整个输入图像和标签中简单高效的学习特征。4.FCN将各层的特征融合在一起,旨在将全局特征和局部特征相结合,达到让网络自发微调的效果。...原创 2021-05-17 17:29:57 · 131 阅读 · 0 评论 -
FCN全连接卷积网络(4)--Fully Convolutional Networks for Semantic Segmentation阅读(引言部分)
引言引言部分翻译总结1.卷积网络推动了视觉识别的发展。2.早前的卷积网络运用当中,将每个像素标记为封闭对象或一个某个类别,这样的做法存在缺点。也就是传统的卷积网络存在缺点。3.实验证明,端到端的FCN网络在语义分割任务当中超过了现有水平,这是第一个在像素级别且在监督式预训练完成的网络模型。解释一下语义分割一般在业界会将其和像素级别的学习等同起来,对于每一个像素点判断一下他是什么东西,概率是多少。例如,判断某个像素点是什么,判断其大概率是个门,那么我们就将其归类到门当中。这样,我们可以看到,语义分原创 2021-05-17 16:59:57 · 210 阅读 · 0 评论 -
FCN全连接卷积网络(3)--Fully Convolutional Networks for Semantic Segmentation阅读(摘要部分)
1.摘要1.1逐句理解一下:Convolutional networks are powerful visual models thatyield hierarchies of features.卷积网络是十分有力的在获得层次特征的图像模型当中。We show that convolutional networks by themselves, trained end-to-end, pixels-to-pixels, exceed the state-of-the-art in semantic原创 2021-05-17 16:16:51 · 220 阅读 · 0 评论 -
FCN全连接卷积网络(2)--读论文的过程理解
阅读论文的步骤:首先,理解论文的各部分组成1.摘要 对论文的高度概括,是论文的门面,在上网找论文的时候大家一般是先看摘要部分。所以,我们写论文的时候,摘要部分也要反复推敲。2.引言 主要是大方向的研究背景和现状,主要是说明自己模型和别人不一样的地方,也就是创新点。3.相关工作 介绍的是这个论文当中用到的模块和方法。4.模型结构 这里是整个文章的核心点,要详细解释自己的模型,要达到的效果就是,让别人拿到之后,看完就可以直接使用代码将其进行复现。并且别人复现的结果要和你论文所说的内容是相一致的,才能说原创 2021-05-17 11:37:38 · 255 阅读 · 0 评论 -
FCN全连接卷积网络(1)--CNN卷积网络的知识储备
FCN全连接卷积网络什么是全连接卷积网络全连接神经网络,是和语义分割相关的,所以我们先要明白什么是语义分割?语义分割:大定义我们在说语义时都是和文字相关的问题,但是实际上在模式识别当中语义识别主要应用是:让机器实识别出面图像中的不同内容这里主要是对图中每个内守每一个小部分打一个标签,之后再通过训练让机器帮我们完成这个任务。为什么使用卷积网络想要明白全连接卷积网络,我们首先的明白卷积网络我们首先要理解卷积网络的设计思路:1.粗略的讲,一个图像中的信息提取,某一块的特征是集中在一部分的。所以应该原创 2021-05-15 23:22:24 · 241 阅读 · 0 评论 -
AssertionError: nn criterions don‘t compute the gradient w.r.t. targets
AssertionError:## nn criterions don’t compute the gradient w.r.t. targets - please mark these tensors as not requiring gradients读错误可以看到这是一个断言错误,就是我们设置的东西和系统设置的东西不太兼容,所以我们要再次设置一下。我们看一下后面说的东西,nn的原则告诉我们这里是不需要计算梯度的,所以请将这些张量定义为不需要计算梯度。所以是我们将某些需要计算梯度的东西传到了原创 2021-05-05 21:59:35 · 169 阅读 · 0 评论 -
(NoneType)是什么
(NoneType)是什么**TypeError: randn_like() received an invalid combination of arguments - got (NoneType), but expected one of:(Tensor input, torch.dtype dtype, torch.layout layout, torch.device device, bool requires_grad)(Tensor input, bool requires_grad**原创 2021-05-05 21:54:57 · 6703 阅读 · 2 评论 -
循环神经网络
DNN稠密的神经网络可以理解成dense或是deep,这种稠密或是深度的神经网络其实就是一种全连接层。RNN循环神经网络其实就是对线性层的一个复用。全连接的使用有哪些弊端我们用一个预测下雨的问题来举例子:例如我们想要预测一个下雨的问题,我们拿到一个当前的时间节点的特征然后预测一个现在是否要下雨的情况,是没有任何意义的,我们直接开开窗户看一眼就可以了。所以我们更多的是应用之前几天的数据来预测这一天是不是要下雨的问题。这样我们输入其实是之前的几天的一个情况,每天三个数据,有三天,这样就有9个输入数原创 2021-04-14 16:22:10 · 223 阅读 · 0 评论 -
梯度消失的问题
梯度消失的问题什么是梯度消失有人在CIFAR10这个数据集上面做了一个实验,是不是卷积层越多越好,结果发现并不是如此。在层数增加之后表现并没有有效的变好。这其实就是触发了梯度消失的问题。因为每一层计算的梯度最终都会乘算到一起,这个数值在最后的时候就会越来越小,乘的层数多了,自然而然就会变得越来越小。底层的网络的梯度会变得特别小,很难得到有效的训练,所以整体的准确度不高。这个问题如何解决我们可以使用如下的情况来进行解决,将一个没有经过层处理的x直接传下去。这样到底能达到一个怎样的结果呢?其实得原创 2021-04-07 11:56:07 · 1180 阅读 · 0 评论 -
深度学习的基础知识(机器学习、损失函数、梯度下降、反向传播、基础模型一网打尽)
预备信息了解技术的发展阶段技术一般存在几个阶段:1.发展期、2.高峰期、3.冰河期、4.应用期就是先达到一个高峰,但是在达到高峰之后就会被发现很多问题,然后热度就会不断地下降,到达一个冰河期,经历磨难,如果最终走出冰河期,才能顺利的走入平稳的应用期。发展期变化会非常大,时常更新。推理这是一种推理的情况,这时候我们是用某种信息的集合,得到一个结论是一个推理的过程。预测视觉上的物品转化为一种抽象的内容。如把一个事实存在的物品,抽象为一个矩阵。机器学习将人进行处理的过程,用算法来进行替代的情况下原创 2021-03-20 21:16:00 · 856 阅读 · 0 评论