![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
jaycain
模式识别与智能系统硕士研究生在读。
展开
-
深度学习理论学习过程中的一些常见问题
1. 样本归一化:预测时的样本数据同样也需要归一化,但使用训练样本的均值和极值计算,这是为什么?答:可以从三个角度理解:众所周知,我们的数据集分为训练集和测试集,对于测试集的均值方差归一化,不能用测试集的均值和方差,而要用训练集的均值和方差,因为真实数据中很难得到其均值和方差。另外,网络参数是从训练集学习到的,也就是说,网络的参数尺度是与训练集的特征尺度一致性相关的,所以应该认为测试数据和训练数据的特征分布一致。最后,训练集数据相比测试集数据更多,用于近似表征全体数据的分布情况。总结就是认为测试数据的分原创 2021-04-15 10:40:58 · 2398 阅读 · 0 评论 -
面向开放世界的深度学习
Motivation尽管深度学习已经在各大数据集上有优异表现,但在实际动态变化的世界里,这些预先学习了数据集知识的模型却难以适应多变、未知。最近,已经有一些学者意识到了这个重要问题。本文将增量式记录目前科学界对于开放世界学习问题的一些成果,以便学习、查阅。论文列表1. 面向开放世界的目标检测Towards Open World Object Detection(CVPR2021):论文:https://arxiv.org/pdf/2103.02603.pdf代码:https://github.原创 2021-04-06 14:27:11 · 754 阅读 · 2 评论 -
多目标跟踪论文阅读:Track to Detect and Segment: An Online Multi-Object Tracker
Track to Detect and Segment: An Online Multi-Object Tracker[x]作者:Wu, Jia. lianCao, Jiale. Song, Liangchen[x]团队/机构:SUNY Buffalo. TJU. Horizon Robotics[x]Journal:IEEE Conference on Computer Vision and Pattern Recognition (CVPR)[x]年份:2021[x]论文链接:http://a原创 2021-03-31 20:19:48 · 460 阅读 · 0 评论 -
全景分割论文阅读:Efficientps: Efficient Panoptic Segmentation
论文链接:https://arxiv.org/pdf/2004.02307.pdf项目地址:https://github.com/DeepSceneSeg/EfficientPS原创 2021-03-30 16:48:03 · 766 阅读 · 0 评论 -
论文阅读:Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
原创 2021-03-29 11:21:57 · 939 阅读 · 0 评论 -
视觉注意力系列概念及论文阅读学习
最近在看视觉注意力机制,看到比较好的博客或者公众号文章如下:首先当然是要了解自然语言处理NLP里面的的注意力机制和Transformer基本概念:The Illustrated Transformer然后再看视觉里面的:1、视觉注意力机制 | Non-local模块与Self-attention的之间的关系与区别?包含详细的视觉self-attention介绍和一篇应用self-attention的文章介绍:Non-local Neural Networks模块依然存在以下的不足:(1)原创 2021-01-23 21:00:23 · 416 阅读 · 0 评论 -
Pytorch中利用cudnn进一步加速训练
##简介cuDNN使用非确定性算法实现训练加速import torchtorch.backends.cudnn.enabled = Truetorch.backend.cudnn.benchmark=True如果设置为torch.backends.cudnn.enabled =True,说明设置为使用使用非确定性算法然后再设置:torch.backends.cudnn.benchmark = True所以我们经常看见在代码开始出两者同时设置:torch.backends.cudnn.e原创 2020-12-04 14:20:48 · 6318 阅读 · 0 评论 -
卷积、池化、反卷积、空洞卷积的输出大小计算公式
卷积对于卷积经过某层后的特征图大小计算方式:h2 = (h1-k+2p)/s + 1w2 = (w1-k+2p)/s + 1总结:卷积输出大小=[(输入大小-卷积核大小+2*Padding)/步长]+1所以当stride为1时,当卷积核的大小比padding的两倍大1时,可以不改变特征图的尺寸,只改变通道数。池化对于池化:H=(H-K)/S+1W=(W-K)/S+1总结:池化输出大小=[(输入大小-卷积核大小)/步长]+1反卷积反卷积输出大小(input_size-1)×strid原创 2020-11-17 22:06:14 · 4959 阅读 · 0 评论 -
Conv2d中的group参数:分组卷积是什么?
直观理解用一幅图就可以很直观的理解了:如上图,左边是常规卷积,假设input_features[1, 12, Hi, Wi], output_features[1, 6, Ho, Wo],此时需要的kernel[12, 6, K, K], 卷积核的总参数量为126KK;右边为分组卷积,分组即将input_features进行分组,假设这里将input_features分为三组,每组有四个维度,那么每一组的input_features[1, 4, Hi, Wi], 输出的output_features[原创 2020-12-03 20:09:33 · 4636 阅读 · 5 评论