深度学习
Al小卒
这个作者很懒,什么都没留下…
展开
-
mmcv_full下载网址
https://download.openmmlab.com/mmcv/dist/cu102/torch1.6.0/index.html原创 2022-02-24 12:40:35 · 2648 阅读 · 0 评论 -
小目标检测相关内容最新梳理
原创 2021-08-16 18:10:08 · 184 阅读 · 0 评论 -
迁移学习对医疗图像的影响(Transfusion: Understanding Transfer Learning for Medical Imaging)
原创 2021-08-15 19:07:42 · 630 阅读 · 0 评论 -
Rethinking Pre-training and Self-training论文阅读及笔记
原创 2021-08-15 10:59:05 · 303 阅读 · 0 评论 -
关于神经网络中relu和bn顺序的问题
1:relu+bn从Internal Covariate Shift(内协变量移位,即随着网络层数的加深,高层的参数更新要不断的去适应底层的参数,前面层参数的更新会导致下一层的的输入发生变化,即每一层的输入数据分布一直在发生变化)角度来说,对网络层经过激活函数以后进行norm,使得每一层的输入数据分布一致(即均值为0,方差为1),零均值的输入,可以避免梯度同号,从而出现“之”字优化的情况。注(1):为什么零均值的输入,可以避免梯度同号,从而出现“之”字优化的情况?神经元的运算过程可如图1所示,加上后一原创 2021-04-08 10:38:31 · 4053 阅读 · 0 评论 -
误检率、查准率、查全率、漏检率计算公式
误检率:f_r = fp/(fp+tn)精确率(precision):p_r= tp/(tp+fp)召回率:r_rate= tp/(tp+fn)漏检率:fn/(fn+tp)原创 2020-09-14 21:03:39 · 15949 阅读 · 0 评论 -
如何利用预训练模型进行模型微调(如冻结某些层,不同层设置不同学习率等)
由于预训练模型权重和我们要训练的数据集存在一定的差异,且需要训练的数据集有大有小,所以进行模型微调、设置不同学习率就变得比较重要,下面主要分四种情况进行讨论,错误之处或者不足之处还请大佬们指正。(1)待训练数据集较小,与预训练模型数据集相似度较高时。例如待训练数据集中数据存在于预训练模型中时,不需要重新训练模型,只需要修改最后一层输出层即可。(2)待训练数据集较小,与预训练模型数据集相似度较小...原创 2020-04-05 16:41:27 · 4713 阅读 · 0 评论 -
通过数据集样本个数计算损失函数的权重
大多数据集类别是不平衡的,可以通过调整损失函数的权重,来平衡各类别。(1)神经网络每次训练过程中,给予不同的类别权重,选择最有的结果作为最优类别权重;但是这样花费的时间成本很高;因此可以通过如下策略进行训练:1)首先训练不带权重的模型;2)然后给予不同的类别权重参数,对网络进行微调,选取最优的权重参数;(2)计算损失函数各类别权重的公式有:假设有四类,对应类别数量为a,b,c,d1)样...原创 2020-02-21 23:11:24 · 2720 阅读 · 0 评论 -
语义分割常用loss介绍及pytorch实现
分享链接:https://blog.csdn.net/CaiDaoqing/article/details/90457197转载 2020-02-09 11:27:46 · 861 阅读 · 0 评论 -
ubuntu显卡驱动重装教程
方法1:(1):sudo service lightdm stop(2):sudo chmod +x NVIDIA-Linux-x86_64-390.67.run(3):sudo ./NVIDIA-Linux-x86_64-390.67.run --no-opengl-files(4):sudo service lightdm stop(如果输入sudo service lightdm ...原创 2020-02-06 11:58:31 · 573 阅读 · 0 评论 -
cuda与cudnn安装教程
https://blog.csdn.net/lihe4151021/article/details/90237681原创 2020-06-13 14:57:22 · 218 阅读 · 0 评论 -
目标检测中的不平衡问题及其解决方法
(不平衡问题综述文章:Imbalance Problems in object Detection:A Review)我们最常想到的不平衡问题是:目标类别不平衡,然而实际上有以下不平衡问题:(1)类别不平衡:前景和背景不平衡、前景中不同类别输入包围框的个数不平衡;(2)尺度不平衡:输入图像和包围框的尺度不平衡,不同特征层对最终结果贡献不平衡;(3) 空间不平衡:不同样本对回归损失的贡献不平...原创 2019-12-15 19:04:26 · 2066 阅读 · 0 评论 -
标签平滑:When Does Label Smoothing Help?
1:标签平滑技术在图片分类、语音识别、机器翻译等多个领域的深度学习模型中取得了很好的效果。2:标签平滑的作用:提高模型的泛化能力,防止模型过拟合,提升模型的修正能力,并进步提高模型的集束搜索能力。然而在teacher model中进行标签平滑,对student model的知识蒸馏效果会下降。...原创 2019-11-29 20:52:36 · 861 阅读 · 0 评论 -
对图像实现随机擦除代码(RandomErasing)
对应论文:《Random Erasing Data Augmentation》相应的原文github代码地址:https://github.com/zhunzhong07/Random-Erasingclass RandomErasing(object):‘’’Class that performs Random Erasing in Random Erasing Data Augmen...原创 2019-11-28 22:24:07 · 3273 阅读 · 1 评论 -
pytorch使用cnn_finetune调用预训练模型
1:首先安装cnn_finetunepip install cnn_finetune2: 创建一个用ImageNet训练的resnet18模型,并使用它的权重用于10分类model = make_model(‘resnet18’, num_classes=10, pretrained=True)3:创建一个模型,并设置Dropoutmodel = make_model(‘nasnetal...原创 2019-11-27 15:14:49 · 1397 阅读 · 0 评论 -
windows下pytorch模型转换为ncnn可用模型
1:首先给出几个需要下载的工具网址(1)protobuf: https://github.com/protocolbuffers/protobuf/releases/tag/v3.7.1 (我使用的是protobuf-all-3.7.1.zip 版本)(2)onnx-simplifierhttps://github.com/daquexian/onnx-simplifier(注意不用下...原创 2019-10-31 16:11:35 · 1346 阅读 · 3 评论 -
ubuntu搭建ssh
1:先尝试sudo ps -e | grep ssh命令,如果返回“xxxx? 00:00:00 sshd”,代表服务开启2:如果没有反应,在试着开启ssh服务,使用命令sudo /etc/init.d/ssh start来开启服务,如果找不到命令,这说明没有安装ssh服务,输入:sudo apt-get update (更新安装源)sudo apt-get install opens...原创 2019-10-19 16:21:35 · 182 阅读 · 0 评论 -
卷积之后特征图计算公式和空洞卷积之后特征图计算公式
定义:w-图片宽度 h-图片高度 s-卷积步长 p-补零的个数 f-卷积核的大小 d-空洞卷积参数普通卷积之后特征图计算公式:w(out) = ( w(in) - f + 2p )/s + 1h(out) = ( h(in) - f + 2p )/s + 1进行空洞卷积后的计算公式:w(out) = (w(in) + 2p -1 -(f - 1)*d)/2 + ...原创 2019-08-14 10:41:01 · 2928 阅读 · 0 评论 -
获取数据集的方式
https://zhuanlan.zhihu.com/p/55364815原创 2019-08-21 20:47:40 · 4999 阅读 · 0 评论 -
pytorch加载预训练模型部分参数
resnet152 = models.resnet152(pretrained=True)pretrained_dict = resnet152.state_dict()“”“加载torchvision中的预训练模型和参数后通过state_dict()方法提取参数也可以直接从官方model_zoo下载:pretrained_dict = model_zoo.load_url(model_u...原创 2019-09-04 15:17:55 · 1107 阅读 · 0 评论 -
pytorch 实现one-hot focal_loss
class Focalloss(torch.nn.Module):def init(self,gamma=1,alpha=None,reduce=“mean”):super().init()self.gamma = gammaself.alpha = alphaself.reduce = reducedef forward(self,input,target):pre = torch...原创 2019-09-20 08:56:15 · 362 阅读 · 0 评论 -
pytroch实现warmup代码
class myWarmUpLR(_LRScheduler):def init(self, optimizer, total_iters, last_epoch=-1):self.total_iters = total_iterssuper().init(optimizer, last_epoch)def get_lr(self):return [base_lr * self.last_...原创 2019-09-20 10:14:05 · 1178 阅读 · 1 评论