![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
论文阅读
文章平均质量分 79
论文阅读总结
PyBigStar
Good Good Study, Day Day Up!
展开
-
自监督学习——旋转篇
自监督学习——旋转篇随着MoCo, SimCLR, BYOL等工作的提出将基于对比学习框架的自监督学习推到了一个新的风口,博主也写了一篇MoCo v1原理解析,如果大家想了解基于对比学习的自监督学习基本原理可以参考一下这篇博客。不过这不是本篇博客的重点,博主写这篇博客的主要目的是给大家介绍基于旋转的自监督学习。博主会通过两篇基于旋转的自监督学习论文的原理讲解让大家更好地了解到这种自监督学习的方式。PS:自监督学习可以看成是无监督学习的一种形式,有关的讨论在MoCo的论文之中也有介绍,本篇博客在这里使用原创 2021-06-21 10:49:01 · 2624 阅读 · 8 评论 -
Geo-localiztion论文阅读list8
Geo-localiztion论文阅读list8文章目录Geo-localiztion论文阅读list81.Coming Down to Earth: Satellite-to-Street View Synthesis for Geo-Localization1.1 Thinkings1.2 Methodology1.Coming Down to Earth: Satellite-to-Street View Synthesis for Geo-Localizationarxiv1.1 Think原创 2021-04-08 19:50:42 · 622 阅读 · 2 评论 -
Geo-localiztion论文阅读list7
Geo-localization论文阅读list6文章目录Geo-localization论文阅读list61.Optimal Feature Transport for Cross-View Image Geo-localization1.1 Thinkings1.2 Methodology1.2.1 Feature Extraction1.2.2 Optimal Feature Transport1.Optimal Feature Transport for Cross-View Image Geo原创 2021-03-10 20:46:47 · 982 阅读 · 0 评论 -
Geo-localization论文阅读list6
Geo-localization论文阅读list6文章目录Geo-localization论文阅读list61. Each Part Matters: Local Patterns Facilitate Cross-view Geo-localization1.1 Thinkings1.2 Principle Analysis1. Each Part Matters: Local Patterns Facilitate Cross-view Geo-localizationarxiv 26 Aug 2原创 2021-03-03 11:30:41 · 1755 阅读 · 0 评论 -
MoCo v1原理解析
Momentum Contrast for Unsupervised Visual Representation Learning论文阅读笔记 首先需要明确的是无监督模型的正确使用姿势,即先在较大的、难以很好标注的数据集上利用无监督训练得到一个pre-trained模型,再根据下游具体的任务,在较小的、可以很好标注的数据集上,进行有监督的fine-tuning。 很多DL Reseachers都认为深度学习的本质其实就是在做两类upstream tasks:Representation Learnin原创 2021-02-17 17:47:55 · 4400 阅读 · 0 评论 -
自我知识蒸馏学习论文总结
自我知识蒸馏学习论文总结 博主看了几篇有关自我知识蒸馏的论文,大致将self-distillation划分为两类:第一类就是从时间的前后进行蒸馏,即前面几个epochs的模型去蒸馏后面几个epochs的模型;第二类就与Deep Supervision类似,即深层的part去蒸馏浅层的part。针对这两大类,博主各写了一篇原论文的阅读笔记,整合在这里方便阅读和查找,也欢迎大家一起探讨。第一类,Self-Knowledge Distillation: A Simple Way for Better Ge原创 2021-02-17 11:29:33 · 1720 阅读 · 0 评论 -
Be Your Own Teacher 论文阅读
这是一篇ICCV2019的论文,提升模型精度一直是DL界在追求的目标。一般情况下,在模型结构上面的改进可以归纳为三个方面:**depth**,**width**,**cardinality**。但这样一味地将模型结构复杂化,也会让计算成本呈指数级上升。本论文则提出了一种叫做``self distillation``的**训练方式**,在没有增加任何推理计算成本的情况下,显著提升模型的精度。原创 2021-02-17 11:19:13 · 3342 阅读 · 1 评论 -
Self-Knowledge Distillation: A Simple Way for Better Generalization论文阅读
Self-Knowledge Distillation: A Simple Way for Better Generalization论文阅读 这是一篇2020年6月挂载arxiv上的论文,目前还处于under review。这篇论文从正则化方法可以提高网络的泛化能力这一点出发,提出了一个简单且有效的正则化方法——Self-KD,即自知识蒸馏。从作者所做的一系列实验可以看出来,Self-KD不仅在提高精度上面起到了作用,还能提供高质量的置信度估计(Expected Calibration Error,E原创 2021-02-06 11:02:47 · 2220 阅读 · 3 评论 -
Geo-localization论文阅读list5
1. Self-supervising Fine-grained Region Similarities for Large-scale Image LocalizationECCV20201.1 Thinkings 这篇论文的motivation就在于目前公开的benchmarks 仅能 提供带有噪声的GPS坐标标签,以提供learning image-to-image similarities的弱监督。为了解决这个问题,论文的作者提出了一种自监督、细粒度的image-to-region simil原创 2020-12-23 11:42:36 · 796 阅读 · 0 评论 -
Geo-localization论文阅读list4
Geo-localization论文阅读3文章目录Geo-localization论文阅读31. Lending Orientation to Neural Networks for Cross-view Geo-localization1.1 Thinkings1.2 Principle Analysis1.2.1 参数化朝向信息1.2.2 Inject Orientation Information1.3 Benchmark1. Lending Orientation to Neural Netwo原创 2020-12-11 20:25:12 · 1801 阅读 · 0 评论 -
Geo-localization论文阅读list3
Geo-localization论文阅读3文章目录Geo-localization论文阅读31. Ground-to-Aerial Image Geo-localization With a Hard Examplar Reweighting Triplet Loss1.1 Thinkings1.2 Principle Analysis1.2.1 Main Loss1.2.2 Dual Attention1.2.3 Auxiliary Loss1.3 Trash Talk2. Where am I loo原创 2020-12-06 22:43:47 · 1527 阅读 · 2 评论 -
Geo-localization论文阅读list2
Geo-localization论文阅读list2文章目录Geo-localization论文阅读list21. NetVLAD: CNN architecture for weakly supervised place recognition1.1 Thinkings1.2 Principle Analysis1. NetVLAD: CNN architecture for weakly supervised place recognition1.1 Thinkings NetVLAD主要的con原创 2020-11-19 18:58:29 · 943 阅读 · 0 评论 -
NetVLAD原理详解和推导
NetVLAD原理详解和推导 博主最近在读Geo-localization的论文,其中有几篇论文用到了NetVLAD,所以博主便读了读这篇论文。VLAD算法作为Image Retrival领域的经典算法,被这篇论文做了扩展,让VLAD算法变成一个differentiable的算法,从而可以利用反向传播去更新优化算法中的参数,从而诞生了NetVLAD这个pluggable to any CNN的算法。 本论文focus on的领域是large scale visual place recognition原创 2020-11-19 18:49:35 · 11862 阅读 · 20 评论 -
R-CNN 原理详解
R-CNN 原理详解文章目录R-CNN 原理详解1. Contributions2. 流程详解2.1 总体流程2.2 提取候选区域2.3 训练CNN2.4 训练SVM3. 总结 最近开始学习目标检测的知识,就读了一下R-CNN的论文原文 Rich feature hierarchies for accurate object detection and semantic segmentation。R-CNN的GitHub:repo地址 (PS:全部代码都是用Matlab写的,目前已经停止更新维护了)原创 2020-08-02 16:10:44 · 1381 阅读 · 0 评论 -
带你一文读懂Faster RCNN论文
Faster RCNN论文解读 最近看了Faster RCNN的论文, 又参考了一些中文博客, 现在将Faster RCNN的总体思路和实现细节记录在这篇博客, 方便以后复习。 Faster RCNN在RCNN和Fast RCNN的基础之上, 统一了特征抽取、候选区域提取、边界回归、分类, 让这个模型成为了一个端到端的模型, 并且在速度上得到了极大的提升, 让RCNN家族真正实现了Real-Time Detection。文章目录Faster RCNN论文解读0. Faster RCNN概览1. C原创 2020-10-11 10:14:59 · 492 阅读 · 2 评论 -
YOLO v1原理详解
YOLO v1原理详解 YOLO(You Only Look Once)这篇论文提出了一个实时的新型目标检测框架,不同于以前RCNN系列基于Region划分再分类和DPM(Deformable Parts Model)这类基于滑动窗口的目标检测系统。YOLO将整个目标检测问题中的bounding box和classfier这两大问题统一成了一个回归的问题。 相较于其他state-of-the-art的目标检测系统, YOLO容易出错的地方在于bbox的定位, 但是却有着更少的False Positiv原创 2020-10-14 22:42:55 · 826 阅读 · 0 评论 -
YOLOv4学习资源转载
YOLOv4学习资源转载Redmon写完YOLOv3,退出计算机视觉领域之后,又有其他大佬推动着这一目标检测神器的发展。YOLOv4我没有看原论文,而是找了一些博客资源进行学习,现在把我找到的博客资源分享在此。看完这些博客之后,YOLOv4其实并没有引入特别创新的idea,作者的目标就是为了设计一个用于实际工作环境的快速目标检测系统。因此,YOLOv4个人感觉相当于在YOLOv3的基础之上加入了很多的Bag of freebies和Bag of specials。YOLO-V4解读:速度与精度的原创 2020-10-26 14:57:32 · 169 阅读 · 0 评论 -
YOLOv5学习资源转载
YOLOv5学习资源转载个人感觉从YOLOv4开始就加入了很多新的网络结构或者一些tricks,所以要理解YOLOv4、5需要一些其他的预备知识,现分享如下。FPN特征金字塔网络解读FPN怎么和RPN结合起来CSPNet论文笔记深入浅出YOLOv5...原创 2020-10-26 16:05:32 · 256 阅读 · 0 评论 -
带你一文读懂YOLO v2
YOLO v2是在论文YOLO9000: Better, Faster, Stronger提出的,这篇论文先在结构上进行了一些改变从而提出了YOLO v2。然后,在YOLO v2的基础之上提出了一种将分类和检测融合的新型训练方式,使得模型可以识别9000多种类别,所以取名叫YOLO 9000。...原创 2020-10-23 19:10:45 · 297 阅读 · 0 评论 -
SSD学习资源转载
读完SSD的论文之后,感觉SSD最核心的点与YOLOv1一样,都是one-stage的detection system。SSD后续的消融实验也指出了SSD之所以再保证speed的情况之下能够提升这么多AP,主要在于:data agumentation和default boxes with different aspect ratios at different scales。当然前者不属于模型结构上的改变,所以感觉SSD其实就是多尺度boxes改进版的YOLOv1(忽略什么YOLOv1的全连接层呀这些的).原创 2020-10-27 14:22:10 · 149 阅读 · 0 评论 -
SPPnet资源转载
在SPPnet的那个时候一般CNN指的是卷积层加全连接层的网络,而卷积层对输入的大小没有限制,全连接层却对输入的大小有着限制。所以作者提出SPPnet的目的就是作为一个plugin-module去改进CNN网络。我在学习的时候看了论文又参考了一些博客,现在把博客资源转载如下。SPPNet, 总结性描述, 细节也比较详细, 知乎深度神经网络中用于视觉识别的空间金字塔池化,按照论文的顺序写的...原创 2020-11-01 19:43:00 · 115 阅读 · 0 评论 -
DenseNet资源转载
DenseNet也是从结构上面去改进比较深的神经网络,对标的就是ResNet。DenseNet不同于ResNet利用Identity function将前面网络层的输出直接加到后面,它强调的是极致的特征重用,不断地利用以前提取的特征,从而达到加深网络的目的(也就是解决网络过深导致的梯度消失的问题)。 这个图片是我在Debug DenseNet的Pytorch实现时,画的示意图:DenseNet算法详解,有作者自己的理解,CSDN...原创 2020-11-01 19:53:02 · 125 阅读 · 0 评论 -
ResNeXt论文阅读总结
这篇博客不从详细的原理介绍ResNeXt,而是谈一谈博主阅读ResNeXt之后的一些思考。所以需要详细了解原理的读者可以自行阅读论文 Aggregated Residual Transformations for Deep Neural Networks。0. Prerequisite knowledgeResNet解析 CSDNInception网络模型 博客园1.Thinkings & Abstract 首先我刚刚开始读论文的时候对ResNeXt的第一印象就是Inceptio.原创 2020-11-03 15:35:33 · 425 阅读 · 0 评论 -
Geo-localization论文阅读list1
Geo-localization论文阅读list1从Week16开始,博主主要工作转为阅读Geo-localization专业论文,鉴于专业论文和深度学习基础论文的特点差异,专业论文总结将会以一个一个的list呈现。文章目录Geo-localization论文阅读list11.Learning Deep Representations for Ground-to-Aerial Geolocalization1.1 Thinkings1.2 Principle Analysis1.3 Weakness原创 2020-11-10 16:58:14 · 2016 阅读 · 0 评论