深度学习
你吃过卤汁牛肉吗
这个作者很懒,什么都没留下…
展开
-
shellnet安装记录
github地址:https://github.com/hkust-vgd/shellnetInstallationThe code is based onPointCNN. Please installTensorFlow, and follow the instruction inPointNet++to compile the customized TF operato...原创 2019-10-28 16:29:14 · 573 阅读 · 0 评论 -
卷积的三种模式:full、same、valid + 卷积输出size的计算
转载自:https://blog.csdn.net/leviopku/article/details/80327478通常用外部api进行卷积的时候,会面临mode选择。这三种mode的不同点:对卷积核移动范围的不同限制。设 image的大小是7x7(橙色部分),filter的大小是3x3(蓝色部分)1. full modefull mode:从filter和image刚相...转载 2019-07-09 21:15:11 · 4580 阅读 · 1 评论 -
反卷积的两种方式
转载自:https://blog.csdn.net/Fate_fjh/article/details/52882134cfull mode卷积卷积中的full模式,在步长小的时候会出现卷积后的结果比原图size大的情况。多出来的部分根据实际情况可以有不同的处理方法。这种操作其实是一种反卷积。另一种反卷积的方法反卷积,可以理解为卷积操作的逆运算。这里千万不要当成反卷积...原创 2019-07-09 22:31:31 · 10019 阅读 · 1 评论 -
模型显存占用及其计算量
1. 显存的占用当在GPU上跑一个模型时,显存的占用主要有两部分:模型的输出(特征图、特征图的梯度)、模型的参数(权重矩阵、偏置值、梯度)1. 模型参数的显存占用:(例如:卷积核的参数、BN层、全连接层的参数等(池化层没有参数))2. 如果是在训练阶段,需要反向传播更新参数值,所以每个参数都需要存储梯度。所以模型参数的显存占用,与采用的优化器有关。 1)如果使...原创 2019-07-11 09:37:05 · 14814 阅读 · 4 评论 -
DNN的正向传播
正向传播第层的第个神经元的正向传播公式(向量形式): 注:(1)W、b是第层的参数,a是第层的输出值(2)是第层的神经元总数(3):第层的第个神经元(); :第层的第个神经元()(4):第层的第个神经元与第层的第k个神经元连接的权重第层的神经元(共个)的正向传播公式(矩阵形式):缩写为:...原创 2019-07-10 14:19:40 · 256 阅读 · 0 评论 -
DNN的反向传播
1. DNN反向传播图解转载自:https://www.cnblogs.com/MatrixPlayer/p/7661232.html其实反向传播算法从公式上来看,损失C对W的权重有两部分,1)激活函数Z对W的偏导数,此项其实就是前向传播(a当前这个神经元的输入)2)C对激活函数Z的偏导数,此项就是反向传播。总结反向传播的计算...原创 2019-07-10 19:53:11 · 384 阅读 · 0 评论 -
python opencv ubuntu
https://www.jianshu.com/p/2975af275871转载 2019-07-05 20:56:25 · 109 阅读 · 0 评论 -
感受野的计算
什么是感受野?Thereceptive fieldis defined as the region in theinput spacethat a particular CNN’s feature is looking at (i.e. be affected by). ——Dang Ha The Hien在卷积神经网络中,感受野的定义是 卷积神经网络每一层输出的特征图(fea...转载 2019-07-01 10:45:20 · 426 阅读 · 0 评论 -
空间金字塔池化SPP
转载自:http://blog.csdn.net/xzzppp/article/details/51377731论文:Spatial Pyramid Pooling in Deep ConvolutionalNetworks for Visual Recognition1. 空间金字塔池化SPP(Spatial pyramid pooling)整体结构得任意大小的特征图都能够转换成固...转载 2019-07-11 10:55:13 · 373 阅读 · 0 评论 -
二项分布
二项分布的四个特点:1. 做某件事的次数是固定的,用n表示2. 每件事都有两种可能的结果(正面或反面,成功或失败等)3. 每一次成功的概率都是相等的,用概率p表示4. 你感兴趣的是成功x次的概率是多少二项分布的公式 (成功x次的概率)二项分布的期望和方差期望:(表示某事情发生n次,预期成功了多少次)方差:...原创 2019-07-06 20:22:59 · 7494 阅读 · 0 评论 -
交叉熵详解
原文:https://blog.csdn.net/tsyccnh/article/details/79163834(有修改)信息论交叉熵是信息论中的一个概念下面将介绍信息量、熵、相对熵(KL散度)、交叉熵这四个概念。1. 信息量假设是一个离散型随机变量,其取值集合为,其概率分布函数,则定义事件的信息量为:图像如下:横轴:; 纵轴:【(横轴...原创 2019-07-06 20:40:52 · 5655 阅读 · 2 评论 -
几种可分卷积
参考:http://www.sohu.com/a/317166403_3949870. 标准的2D卷积对于神经元的输入(7*7*3),用一个3*3*3的卷积核对输入进行卷积,得到一个5*5*1的特征图:若想得到128个特征图,需要128个3*3*3的卷积核对输入进行卷积:1. 空间可分卷积空间可分卷积操作的是图像的 2D 空间维度,即高和宽。空间可分卷积是将...原创 2019-07-11 20:32:38 · 710 阅读 · 0 评论 -
全局平均池化
全局平均池化是在论文Network in Network中提出的,原文中全局平均池化的作用和优点:思想:对于输出的每一个通道的特征图的所有像素计算一个平均值,经过全局平均池化之后就得到一个 维度==类别数 的特征向量,然后直接输入到softmax层作用:代替全连接层,可接受任意尺寸的图像优点:1)可以更好的将类别与最后一个卷积层的特征图对应起来(每一个通道对应一种...原创 2019-07-12 10:15:04 · 38214 阅读 · 11 评论 -
无偏估计
0. 无偏估计简介估计是用样本统计量(可以理解为随机抽样)来估计总体参数时的一种无偏推断。无偏估计的要求就是:估计出来的参数的数学期望等于被估计参数的真实值。(如:是总体参数的估计量,而是被估计参数)(无偏性是一种评价估计量优良性的准则)无偏估计的意义:在多次重复下,估计量的平均值 ≈ 被估计参数真值所以呢,可以看出:估计值也是一个变量,因为是随机的嘛。 真实值谁也不知道啊(因...原创 2019-07-04 00:43:00 · 19636 阅读 · 0 评论 -
几种激活函数的比较
0. 激活函数选用的两个考虑因素:(1) 饱和问题如果激活函数的输入值落在饱和区间,梯度值就趋近于0,会发生梯度消失问题(2)输出值是否关于0对称输出值如果关于0对称会加快网络收敛,因为可以避免优化的时候走“之字形”路线以sigmoid为例,详解为什么会走“之字形”路线sigmoid激活函数公式: 导数:神经网络前向计算公式: (L表示损失函数...原创 2019-07-03 13:47:46 · 1212 阅读 · 0 评论 -
pytorch 模型的保存和加载相关函数的return值
[ pytorch ] ——基本使用:(2) 训练好的模型参数的保存以及调用转载:https://blog.csdn.net/jdzwanghao/article/details/823163321.模型的保存torch.save()和模型的加载torch.load()def modelfunc(nn.Module): # 之前定义好的模型 # 由于pytorch没有像...转载 2019-05-07 20:14:26 · 2131 阅读 · 0 评论 -
图像裁剪---torchvision.transforms.CenterCrop
pytorch文档中的说明:用法实例:import torchivision.transformsimport PIL.Image as Imageimport torchvision.transforms#读入图片image=Image.open("/home/alisa/PycharmProjects/attack/target_attack/1/train_targ...原创 2019-05-15 21:12:18 · 26392 阅读 · 2 评论 -
resnet的训练(数据增强)
https://blog.csdn.net/weixin_41847115/article/details/84644305resnet的输入size是224一、图像的按比例缩放将图像较短的那条边按比例随机缩放到【256】,长边随着短边按比例缩放二、图像的裁剪随机对图像进行裁剪【224,224】,如果采用随机裁剪可以得到多张图片,可以选择上下左右加中间再镜像大概得到十张左右...转载 2019-05-11 22:48:21 · 3080 阅读 · 0 评论 -
神经网络可视化
PyTorch | 提取神经网络中间层特征进行可视化https://www.jianshu.com/p/2fe73baa09b8?utm_source=oschina-appgithub上的一个项目:https://github.com/utkuozbulak/pytorch-cnn-visualizations...转载 2019-05-12 12:52:07 · 132 阅读 · 0 评论 -
语义分割数据集介绍
转载整理自https://blog.csdn.net/haoji007/article/details/80361587https://www.jianshu.com/p/da4641f50000三种图片(1)原图(2)图像分类分割(3)图像物体分割见下图:两套数据集(1)benchmark_RELEASE(Semantic Boundaries Data...转载 2019-06-21 15:58:28 · 3545 阅读 · 1 评论 -
pytorch中的Variable()
参考链接:https://www.cnblogs.com/hellcat/p/8439055.html函数简介torch.autograd.Variable是Autograd的核心类,它封装了Tensor,并整合了反向传播的相关实现(tensor变成variable之后才能进行反向传播求梯度?用变量.backward()进行反向传播之后,var.grad中保存了var的梯度)x = ...转载 2019-07-01 14:51:20 · 44589 阅读 · 3 评论 -
模型和数据(tensor\variable)在cpu和gpu之间的迁移
参考文章:https://www.cnblogs.com/zle1992/p/9047905.html1. 如何进行迁移(1)从cpu迁移到gpu上: 对模型和相应的数据进行.cuda()处理。就可以将内存中的数据复制到GPU的显存中去。从而可以通过GPU来进行运算了。(2)从gpu迁移到cpu上(复制): .cpu()1.1 判定使用GPU下载了对应的GPU版本的Pytorc...转载 2019-07-01 16:50:10 · 7133 阅读 · 0 评论 -
语义分割代码阅读---评价指标mIoU的计算
1. 语义分割IoU的定义传统意义上的IoU(Intersection over Union,交并比)直观表示:公式: 语义分割中的IoU在语义分割的问题中,这两个集合为真实值(ground truth)和预测值(predicted segmentation)。这个比例可以变形为正真数(intersection)比上真正、假负、假正(并集)之和。在每个类上计算Io...原创 2019-07-01 21:55:22 · 39947 阅读 · 10 评论 -
精确率和召回率\准确率\F1值
相关定义 TP(真正): 预测正确, 预测结果是正类, 真实是正类 FP(假正): 预测错误, 预测结果是正类, 真实是负类 FN(假负): 预测错误, 预测结果是负类, 真实是正类 TN(真负): 预测正确, 预测结果是负类, 真实是负类 #跟类别1无关,所以不包含在并集中 (本例中, 正类:是...原创 2019-07-01 22:25:21 · 1796 阅读 · 0 评论 -
权重初始化方式
常见的四种初始化方式初始化为常数或者0 初始化 Xavier初始化 Kaiming初始化相同点:四种更新方式的权重均值都为0后三种初始化的目的是,设计初始化权重的方差,使得每层的输出值的方差与输入值的方差是一样的。-----输入输出方差一致性初始化方式 特点 前向方差一致性 反向方差一致性 激活函数 初始化为常数或者0 ...原创 2019-07-07 21:51:27 · 1663 阅读 · 0 评论 -
神经网络的归一化
1. 归一化操作的对象?归一化是指对于输入到网络中的初始数据进行归一化2. 归一化的作用是什么?作用只有一个!为了更容易train,让模型更好更快的收敛----而关键就在于梯度的传播那怎么让梯度传播的更好呢?就是消除量纲!(1)让各个变量的变化区间长度相同,防止等高线椭圆导致的优化时之字形路线,所以收敛就更好更快了(2)让各个变量的取值不是太跑偏(过大或者过...原创 2019-07-03 13:28:22 · 2977 阅读 · 0 评论 -
dropout详解(随机掩码向量) & 反向传播
转载自:https://blog.csdn.net/oBrightLamp/article/details/84105097转载 2019-05-07 10:47:36 · 2531 阅读 · 0 评论