![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
小知识字典
文章平均质量分 76
对每天学习中的遇到的小知识点的理解
peacefairy
这个作者很懒,什么都没留下…
展开
-
医学图像分割中的问题,概念复习
1、医学图像数据量少怎么解决?根据数据特性,对数据进行数据增强处理,目前分为线上数据增强和线下数据增强。线下数据增强,未训练之前对数据进一步扩增。适合小数据量。线上数据增强,在训练时,对小批量的图像进行增强。适合大数据集。优化模型简化模型正则化集成学习dropout腾讯提出了一个用于3D医疗影像预训练的MedicalNet。利用迁移学习。基于底层的一些特征是类似的,可以进行迁移尝试。利用GAN去生成,但是考虑医疗图像对准确度要求高,思考GAN合成数据的可信度原创 2021-04-03 10:02:05 · 2121 阅读 · 0 评论 -
激活函数你知道多少?记得复习
常见的激活函数1、Sigmoid优点: 它能够把输入的连续实值变换为0和1之间的输出,特别的,如果是非常大的负数,那么输出就是0;如果是非常大的正数,输出就是1.。缺点: 在深度神经网络中梯度反向传递时导致梯度爆炸和梯度消失,其中梯度爆炸发生的概率非常小,而梯度消失发生的概率比较大Sigmoid 的 output 不是0均值(即zero-centered)。这是不可取的,因为这会导致后一层的神经元将得到上一层输出的非0均值的信号作为输入。 产生的一个结果就是:如x>0, x>0,原创 2021-04-03 09:40:45 · 141 阅读 · 0 评论 -
轻量化网络+轻量化语义分割网络的评价参数的理论计算与实际计算
参数数量1.定义2.理论计算公式3.pytorch计算应用1.定义参数数量(params):指模型含有多少参数,直接决定模型的大小,也影响推断时对内存的占用量单位通常为 M,通常参数用 float32 表示,所以模型大小是参数数量的 4 倍左右参数数量与模型大小转换示例:10M float32 bit = 10M × 4 bytes = 40Mb理论计算量(FLOPs):指模型推断时需要多少计算次数是 floating point operations 的缩写(注意 s 小写),可以用原创 2020-10-27 16:38:35 · 1665 阅读 · 0 评论 -
Pytorch-TORCHVISION.TRANSFORMS(transforms模块)索引
TORCHVISION.TRANSFORMS简介1、Transforms on PIL Image(对PIL图像进行处理)1-1:torchvision.transforms.CenterCrop(size)1-2:torchvision.transforms.ColorJitter(brightness=0, contrast=0, saturation=0, hue=0)1-3:torchvision.transforms.FiveCrop(size)1-4:torchvision.transforms原创 2020-10-16 12:24:36 · 1012 阅读 · 0 评论 -
Pytorch中加载预训练模型/模型参数-torch.load()
TORCH.LOAD语法参数理解函数简述Example注意事项语法torch.load(f, map_location=None, pickle_module=<module 'pickle' from '/opt/conda/lib/python3.6/pickle.py'>, **pickle_load_args)参数理解f – 类文件对象 (返回文件描述符)或一个保存文件名的字符串map_location – 一个函数或字典规定如何remap存储位置翻译 2020-10-09 14:59:43 · 6771 阅读 · 0 评论 -
python 3 中 argparse 模块的简单应用
Argparse模块简单应用简单介绍简单使用查看 -h 帮助信息关于位置参数的简单说明简单介绍argparse 模块是 python 的一个命令行解析包,可以十分方便地对 python 文件进行命令行读写(就是不依靠IDE,只用命令行来操作我们写好的python文件)argparse 模块是 python 中自带的模块,不需要再安装简单使用# 使用前先导入import argparse if __name__ == '__main__': # 创建命令行解析器 p原创 2020-10-06 15:23:31 · 135 阅读 · 0 评论 -
讨论卷积的三种模式-full;same;valid
三种卷积模式1、full卷积模式定义图示理解2、same卷积模式定义图示理解3、valid卷积模式定义图示理解初始设定图像的大小为 7x7, 卷积核(filter)的大小为 3X31、full卷积模式定义full 卷积模式,图像每个元素都要进行覆盖计算,Filter卷积核只要能覆盖到图像的部分进行计算就可以,没有覆盖到的部分我们就补 0 进行计算即可。图示理解2、same卷积模式定义same 就代表我卷积前和卷积后的图像大小会保持一致。具体操作的话,我们会规定filter 有一个锚点。每次原创 2020-10-04 14:22:33 · 946 阅读 · 0 评论 -
神经网络中-baseline,benchmark,backbone都是什么意思?
baseline在很多的竞赛中,我们都会见到这个名词baseline,一般都是在此基础上进行‘“魔改”,以它为标准,来判断改进的好坏。目的是比较提出算法的性能或者用以比较彰显提出算法的优势benchmark与baseline进行区别,baseline是你自己和你自己比较,benchmark是大家一起比较,最好的那个被我们称作SOTAbackbone从词义上来讲,是脊柱,人的主干。在神经网络中,其也就是我们网络中的主干结构。比如Vgg Block,ResNet Block,NiN Block等原创 2020-10-03 12:44:43 · 7846 阅读 · 1 评论 -
对于图像上采样方法的简单总结——深度学习中常用的图像放大技术
双线性插值1、在图像处理的时候,我们先根据下面的公式:srcX=dstX* (srcWidth/dstWidth),srcY = dstY * (srcHeight/dstHeight)来计算目标像素在源图像中的位置,这里计算的srcX和srcY一般都是浮点数,比如f(1.2, 3.4)。这个像素点是虚拟存在的,我们可以把这个虚拟像素位置写成f(i+u,j+v)的形式,其中,i,j表示整数部分,u,v表示小数部分,则该虚拟像素的位置f(1.2, 3.4) 中各个符号的代表如下:u=0.2,v=0.原创 2020-09-23 18:59:32 · 1050 阅读 · 0 评论 -
如何区分线性与非线性
首先,你要分清,你有问题的是线性函数与非线性函数,还是线性模型和非线性模型。我在二刷机器学习的学习视频时,发现我没有理解视频中说的线性模型是什么?线性函数与非线性函数概念区分线性函数:是指量与量之间按照比例成直线关系,在数学上可理解为一阶导数是个常数;线性可以认为是一条直线,比如y=wx+b。非线性函数 :是指量与量之间不按照比例不成直线关系,一阶导数不为常数。非线性可认为是二次以上的曲线,比如y=ax2+bx+c,(x2是x的2次方),即不为直线的即可。总结: 两个变量之间的关系是一次函数的关系原创 2020-09-15 19:49:21 · 10301 阅读 · 1 评论 -
神经网络中的 eval()是什么意思?
神经网络中的 eval()是什么意思?作者:Yellow_39f2链接:https://www.jianshu.com/p/ef2a7a78aa83在知乎(https://zhuanlan.zhihu.com/p/23178423)和博客园(https://www.cnblogs.com/king-lps/p/8570021.html)分别看到解释dropout和模块的两种模式(train训练模式,eval测试/评估模式)的文章,写的很明了,总结一下自己的更加通俗易懂的理解。dropout是用转载 2020-09-14 14:00:48 · 5095 阅读 · 0 评论 -
对于神经网络中epoch,iteration,batchsize的概念介绍
神经网络三个概念(epoch,iteration,batchsize)原文链接名词解释epoch:训练时,所有训练数据集都训练过一次。batch_size:在训练集中选择一组样本用来更新权值。1个batch包含的样本的数目,通常设为2的n次幂,常用的包括64,128,256。网络较小时选用256,较大时选用64。iteration:训练时,1个batch训练图像通过网络训练一次(一次前向传播+一次后向传播),每迭代一次权重更新一次;测试时,1个batch测试图像通过网络一次(一次前向传播转载 2020-09-14 13:59:22 · 384 阅读 · 0 评论 -
sigmoid和softmax的理解及其区别
sigmoid和softmax的理解及其区别在分类问题中,人们常常会用到sigmoid和softmax这两个激活函数。sigmoid:A logistic function or logistic curve is a common “S” shape (sigmoid curve).也就是说,sigmoid把一个值映射到0-1之间。softmax:softmax is a generalization of logistic function that “squashes”(maps) a K-转载 2020-09-14 13:51:52 · 1431 阅读 · 0 评论 -
什么是fine-tuning ,对于 fine-tuning的理解
什么是 fine-tuning?在实践中,由于数据集不够大,很少有人从头开始训练网络。常见的做法是使用预训练的网络【例如 在ImageNet上训练的分类1000类的网络】来重新fine-tuning(也叫微调),或者将其当做特征提取器。常见的两类迁移学习场景:1、卷积网络当做特征提取器。使用在ImageNet上预训练的网络,去掉最后的全连接层,剩余部分当做特征提取器(例如AlexNet在最后分类器前,是4096维的特征向量)。这样提取的特征叫做CNN codes。得到这样的特征后,可以使用线性分原创 2020-09-14 13:50:01 · 1580 阅读 · 0 评论