深度学习
文章平均质量分 71
PyBigStar
Good Good Study, Day Day Up!
展开
-
RNN & LSTM 原理
学习时间:2020/07/06 - 2020/07/12文章目录0 主要学习内容1 Basic RNN1.1 RNN Cell1.2 RNN forward pass1.3 Basic RNN缺陷分析2 LSTM2.1 LSTM概述2.2 LSTM Cell2.3 Why LSTM Work?2.4 LSTM forward pass0 主要学习内容所有我写的代码可以在此处下载:DownloadBasic RNNLSTM1 Basic RNNRNN神经网络由于具有“记忆”的功能,在.原创 2020-07-12 21:34:05 · 134 阅读 · 0 评论 -
ChatGPT为什么会一本正经胡说八道?我们如何改进它?| 文内附有代码
众所周知,在OpenAI平台上的ChatGPT模型目前有两大痛点:1. 它所学习的数据资料都是截止到2021年为止的,因此无法给出2022年之后的发生的事情。2. 有些时候会出现一些常识性的错误,也就是它会一本正经的胡说八道,比如问它一些历史、数学问题,它可能就会回答出。究其原因,主要是ChatGPT是“生成式回复”。它事先学习了大量的人类的知识以及人类对它的引导和奖励的策略。它本质上依托于一个参数量巨大的神经网络模型,其训练过程是基于它的语料库进行的,而ChatGPT。原创 2023-02-27 16:21:10 · 12759 阅读 · 10 评论 -
MMCV学习——基础篇4(Hook)| 八千字:从设计模式到源码解读
> ``Hook`` 机制在**MMCV**的各个开源库中应用的十分广泛,它主要用于**管理和扩展**[Runner](https://blog.csdn.net/qq_42718887/article/details/127983839)的整个生命周期。通过``Hook``机制在**Runner**的各个**生命周期节点**调用自定义的函数,可以实现丰富的**定制功能**。原创 2022-12-08 21:47:24 · 1207 阅读 · 0 评论 -
MMCV学习——基础篇3(fileio)| 五千字:含示例代码教程
``fileio``作为**MMCV**的一个文件操作的核心模块,提供了一套**统一的API**根据**不同的后端**实现**不同格式**文件的序列化(dump)和反序列化(load)。**PS:** 从v1.3.16之后,MMCV才开始支持不同后端文件的序列化和反序列化,具体细节在[#1330](https://github.com/open-mmlab/mmcv/pull/1330)可以看原创 2022-12-04 20:35:00 · 1693 阅读 · 0 评论 -
MMCV学习——基础篇2(Runner)| 九千字:含示例代码教程
[Runner](https://mmcv.readthedocs.io/en/latest/understand_mmcv/runner.html)类是MMCV的一个``核心``组件,它是一个用来``管理训练流程``的引擎,并且支持用户用``少量代码``按照它提供的接口定制化修改训练流程。下面博主按照官方Doc的思路再结合自己的理解讲解一下它。原创 2022-11-23 15:40:32 · 2751 阅读 · 3 评论 -
MMCV学习——基础篇1(配置&注册机制)
MMCV学习 博主最近在学习mmcv这个基础库,所以写一个博客记录一下。一来是作为学习笔记,方便日后查阅,二来是和大家分享交流一下我得学习心得。mmcv是由OpenMMLab开源的一个计算机视觉的基础库,支持了OpenMMLab众多开源的优秀仓库(比如,MMDetection、MMSegmentation、MMSelfSup等等)。合抱之木,生于毫末;九层之台,起于累土;千里之行,始于足下。mmcv在OpenMMLab构建的整个生态体系之中有着举足轻重的地位,下面就请大家和博主一起揭开学习这个基础库的序原创 2022-05-06 11:42:24 · 9010 阅读 · 6 评论 -
新手炼丹师的调参内经——深度学习涨点技巧总结
新手炼丹师的调参内经——涨点技巧总结训练神经网络的过程就像是一个炼丹的过程,各位炼丹师们除了要设计一个好的丹方(Contribution),配置好的炼丹炉(GPU Server),当然这其中也不能够忽略对火候(Tricks)的掌控。就像一个一品丹药,由九品炼药师和五品炼药师分别在相同的炼丹炉里面炼制,炼制出来的成丹效果肯定也是天差地别,而导致这种差别的最主要原因就是两位炼药师之间经验的差别。设计一个好的丹方这没有什么好说的,就是各位炼药师多读paper,再充分发挥自己的想象力,不断试错,最终成功的过程。原创 2021-06-26 12:18:56 · 7897 阅读 · 9 评论 -
自监督学习——旋转篇
自监督学习——旋转篇随着MoCo, SimCLR, BYOL等工作的提出将基于对比学习框架的自监督学习推到了一个新的风口,博主也写了一篇MoCo v1原理解析,如果大家想了解基于对比学习的自监督学习基本原理可以参考一下这篇博客。不过这不是本篇博客的重点,博主写这篇博客的主要目的是给大家介绍基于旋转的自监督学习。博主会通过两篇基于旋转的自监督学习论文的原理讲解让大家更好地了解到这种自监督学习的方式。PS:自监督学习可以看成是无监督学习的一种形式,有关的讨论在MoCo的论文之中也有介绍,本篇博客在这里使用原创 2021-06-21 10:49:01 · 2781 阅读 · 8 评论 -
图卷积神经网络学习资源转载
图卷积神经网络学习资源转载图卷积神经网络(GCN)顾名思意,是一个在图上工作的卷积神经网络。就像卷积这个名字一样,图卷积神经网络就是将普通卷积神经网络的思想,从具有固定结构的图像引入到图时,所得到的一种模型。理论【GCN】图卷积网络(GCN)入门详解,中英对照讲解,有数学推导代码深入浅出带你读懂图卷积神经网络原理和pytorch代码实现...转载 2021-05-21 20:10:39 · 168 阅读 · 0 评论 -
Geo-localiztion论文阅读list8
Geo-localiztion论文阅读list8文章目录Geo-localiztion论文阅读list81.Coming Down to Earth: Satellite-to-Street View Synthesis for Geo-Localization1.1 Thinkings1.2 Methodology1.Coming Down to Earth: Satellite-to-Street View Synthesis for Geo-Localizationarxiv1.1 Think原创 2021-04-08 19:50:42 · 682 阅读 · 2 评论 -
Geo-localiztion论文阅读list7
Geo-localization论文阅读list6文章目录Geo-localization论文阅读list61.Optimal Feature Transport for Cross-View Image Geo-localization1.1 Thinkings1.2 Methodology1.2.1 Feature Extraction1.2.2 Optimal Feature Transport1.Optimal Feature Transport for Cross-View Image Geo原创 2021-03-10 20:46:47 · 1225 阅读 · 0 评论 -
Geo-localization论文阅读list6
Geo-localization论文阅读list6文章目录Geo-localization论文阅读list61. Each Part Matters: Local Patterns Facilitate Cross-view Geo-localization1.1 Thinkings1.2 Principle Analysis1. Each Part Matters: Local Patterns Facilitate Cross-view Geo-localizationarxiv 26 Aug 2原创 2021-03-03 11:30:41 · 1965 阅读 · 0 评论 -
MoCo v1原理解析
Momentum Contrast for Unsupervised Visual Representation Learning论文阅读笔记 首先需要明确的是无监督模型的正确使用姿势,即先在较大的、难以很好标注的数据集上利用无监督训练得到一个pre-trained模型,再根据下游具体的任务,在较小的、可以很好标注的数据集上,进行有监督的fine-tuning。 很多DL Reseachers都认为深度学习的本质其实就是在做两类upstream tasks:Representation Learnin原创 2021-02-17 17:47:55 · 4580 阅读 · 0 评论 -
自我知识蒸馏学习论文总结
自我知识蒸馏学习论文总结 博主看了几篇有关自我知识蒸馏的论文,大致将self-distillation划分为两类:第一类就是从时间的前后进行蒸馏,即前面几个epochs的模型去蒸馏后面几个epochs的模型;第二类就与Deep Supervision类似,即深层的part去蒸馏浅层的part。针对这两大类,博主各写了一篇原论文的阅读笔记,整合在这里方便阅读和查找,也欢迎大家一起探讨。第一类,Self-Knowledge Distillation: A Simple Way for Better Ge原创 2021-02-17 11:29:33 · 1781 阅读 · 0 评论 -
Be Your Own Teacher 论文阅读
这是一篇ICCV2019的论文,提升模型精度一直是DL界在追求的目标。一般情况下,在模型结构上面的改进可以归纳为三个方面:**depth**,**width**,**cardinality**。但这样一味地将模型结构复杂化,也会让计算成本呈指数级上升。本论文则提出了一种叫做``self distillation``的**训练方式**,在没有增加任何推理计算成本的情况下,显著提升模型的精度。原创 2021-02-17 11:19:13 · 3517 阅读 · 1 评论 -
Self-Knowledge Distillation: A Simple Way for Better Generalization论文阅读
Self-Knowledge Distillation: A Simple Way for Better Generalization论文阅读 这是一篇2020年6月挂载arxiv上的论文,目前还处于under review。这篇论文从正则化方法可以提高网络的泛化能力这一点出发,提出了一个简单且有效的正则化方法——Self-KD,即自知识蒸馏。从作者所做的一系列实验可以看出来,Self-KD不仅在提高精度上面起到了作用,还能提供高质量的置信度估计(Expected Calibration Error,E原创 2021-02-06 11:02:47 · 2305 阅读 · 3 评论 -
Expected Calibration Error (ECE)模型校准原理解析
对于高风险应用来说,机器学习模型对其预测的置信度是至关重要的。``model calibration(模型校准)``就是要让模型结果预测概率和真实的经验概率保持一致。模型校准这个话题比较小众,博主也是在看一篇Self-KD的论文时才看到的。模型校准的metrics有很多,这里博主仅仅讨论``Expected Calibration Error (ECE)``这一个比较经典的模型校准metric。原创 2021-02-05 14:42:47 · 12879 阅读 · 2 评论 -
Transformer学习资源转载
Transformer学习资源转载深入Attention机制attention_output = Attention(Query, Key, Value) 。在机器翻译<x, y>的encoder-decoder结构之中, Query属于Target,<Key, Value>属于Source。Query就是encoder最后一层和decoder隐层状态所代表的中间语义信息。Key和Value在机器翻译中是一样的,都代表输入x。综上,Attention机制就是利用Targe转载 2021-01-19 11:37:59 · 235 阅读 · 0 评论 -
vscode怎么远程连接docker容器舒服地炼丹
vscode怎么远程连接docker容器舒服地炼丹这里先把我参考的博客贴在这里, 后续再更新详细的步骤0. 参考资料vscode 连接远程服务器上的docker容器Linux下SSH-KEY生成原创 2021-01-13 16:13:27 · 458 阅读 · 0 评论 -
TensorRT学习资源转载
TensorRT学习资源转载TensorRT7.0版本在Linux环境安装,以及安装python API接口,测试TensorRT中的测试用例转载 2021-01-13 11:52:45 · 154 阅读 · 0 评论 -
人脸关键点监测学习资源转载
人脸关键点监测看paper的时候看到了一篇人脸关键点监测的一篇paper,现将一些pre-knowledge的学习资源放在这里,方便复习高斯热力图回归知乎,既有热力图回归也有直接的坐标回归讲解知乎,关键点检测中,为什么要生成高斯图,而不是直接与ground_truth比较?知乎,利用热图回归法来进行特征点定位...转载 2021-01-12 18:00:49 · 128 阅读 · 0 评论 -
自监督学习资源转载
自监督学习资源转载*解读自监督学习(Self-Supervised Learning)几篇相关paper, 知乎, 大致介绍转载 2020-12-22 16:53:21 · 128 阅读 · 0 评论 -
卷积、反卷积、转置卷积资源转载
虽然很多地方都说反卷积(deconvolution)和转置卷积(transposed convolution)是一个东西,但是严格意义上来讲两者还是有区分的。两者都是指用卷积后的feature map恢复出input的过程,前者指恢复input的大小和数值,而后值仅仅指恢复input大小。github卷积可视化地址彻底搞懂CNN中的卷积和反卷积 CSDN 结合上面那个卷积可视化项目来讲有反卷积的数学推导 知乎...原创 2020-12-02 14:44:09 · 168 阅读 · 0 评论 -
Geo-localization论文阅读list2
Geo-localization论文阅读list2文章目录Geo-localization论文阅读list21. NetVLAD: CNN architecture for weakly supervised place recognition1.1 Thinkings1.2 Principle Analysis1. NetVLAD: CNN architecture for weakly supervised place recognition1.1 Thinkings NetVLAD主要的con原创 2020-11-19 18:58:29 · 977 阅读 · 0 评论 -
NetVLAD原理详解和推导
NetVLAD原理详解和推导 博主最近在读Geo-localization的论文,其中有几篇论文用到了NetVLAD,所以博主便读了读这篇论文。VLAD算法作为Image Retrival领域的经典算法,被这篇论文做了扩展,让VLAD算法变成一个differentiable的算法,从而可以利用反向传播去更新优化算法中的参数,从而诞生了NetVLAD这个pluggable to any CNN的算法。 本论文focus on的领域是large scale visual place recognition原创 2020-11-19 18:49:35 · 12806 阅读 · 20 评论 -
Geo-localization论文阅读list1
Geo-localization论文阅读list1从Week16开始,博主主要工作转为阅读Geo-localization专业论文,鉴于专业论文和深度学习基础论文的特点差异,专业论文总结将会以一个一个的list呈现。文章目录Geo-localization论文阅读list11.Learning Deep Representations for Ground-to-Aerial Geolocalization1.1 Thinkings1.2 Principle Analysis1.3 Weakness原创 2020-11-10 16:58:14 · 2184 阅读 · 0 评论 -
ResNeXt论文阅读总结
这篇博客不从详细的原理介绍ResNeXt,而是谈一谈博主阅读ResNeXt之后的一些思考。所以需要详细了解原理的读者可以自行阅读论文 Aggregated Residual Transformations for Deep Neural Networks。0. Prerequisite knowledgeResNet解析 CSDNInception网络模型 博客园1.Thinkings & Abstract 首先我刚刚开始读论文的时候对ResNeXt的第一印象就是Inceptio.原创 2020-11-03 15:35:33 · 448 阅读 · 0 评论 -
DenseNet资源转载
DenseNet也是从结构上面去改进比较深的神经网络,对标的就是ResNet。DenseNet不同于ResNet利用Identity function将前面网络层的输出直接加到后面,它强调的是极致的特征重用,不断地利用以前提取的特征,从而达到加深网络的目的(也就是解决网络过深导致的梯度消失的问题)。 这个图片是我在Debug DenseNet的Pytorch实现时,画的示意图:DenseNet算法详解,有作者自己的理解,CSDN...原创 2020-11-01 19:53:02 · 131 阅读 · 0 评论 -
SPPnet资源转载
在SPPnet的那个时候一般CNN指的是卷积层加全连接层的网络,而卷积层对输入的大小没有限制,全连接层却对输入的大小有着限制。所以作者提出SPPnet的目的就是作为一个plugin-module去改进CNN网络。我在学习的时候看了论文又参考了一些博客,现在把博客资源转载如下。SPPNet, 总结性描述, 细节也比较详细, 知乎深度神经网络中用于视觉识别的空间金字塔池化,按照论文的顺序写的...原创 2020-11-01 19:43:00 · 119 阅读 · 0 评论 -
SSD学习资源转载
读完SSD的论文之后,感觉SSD最核心的点与YOLOv1一样,都是one-stage的detection system。SSD后续的消融实验也指出了SSD之所以再保证speed的情况之下能够提升这么多AP,主要在于:data agumentation和default boxes with different aspect ratios at different scales。当然前者不属于模型结构上的改变,所以感觉SSD其实就是多尺度boxes改进版的YOLOv1(忽略什么YOLOv1的全连接层呀这些的).原创 2020-10-27 14:22:10 · 158 阅读 · 0 评论 -
YOLOv4学习资源转载
YOLOv4学习资源转载Redmon写完YOLOv3,退出计算机视觉领域之后,又有其他大佬推动着这一目标检测神器的发展。YOLOv4我没有看原论文,而是找了一些博客资源进行学习,现在把我找到的博客资源分享在此。看完这些博客之后,YOLOv4其实并没有引入特别创新的idea,作者的目标就是为了设计一个用于实际工作环境的快速目标检测系统。因此,YOLOv4个人感觉相当于在YOLOv3的基础之上加入了很多的Bag of freebies和Bag of specials。YOLO-V4解读:速度与精度的原创 2020-10-26 14:57:32 · 193 阅读 · 0 评论 -
YOLOv5学习资源转载
YOLOv5学习资源转载个人感觉从YOLOv4开始就加入了很多新的网络结构或者一些tricks,所以要理解YOLOv4、5需要一些其他的预备知识,现分享如下。FPN特征金字塔网络解读FPN怎么和RPN结合起来CSPNet论文笔记深入浅出YOLOv5...原创 2020-10-26 16:05:32 · 265 阅读 · 0 评论 -
带你一文读懂YOLO v2
YOLO v2是在论文YOLO9000: Better, Faster, Stronger提出的,这篇论文先在结构上进行了一些改变从而提出了YOLO v2。然后,在YOLO v2的基础之上提出了一种将分类和检测融合的新型训练方式,使得模型可以识别9000多种类别,所以取名叫YOLO 9000。...原创 2020-10-23 19:10:45 · 511 阅读 · 0 评论 -
带你一文读懂Batch Normalization
带你一文读懂Batch NormalizationBatch Normalization的提出就是为了解决深度学习中一个很接近本质的问题:为什么深度神经网络随着深度增加,训练起来越来越困难,收敛也越来越慢?。当然,还有其他的一些方法也是用来解决这个问题的,例如:ResNet、ReLU激活函数等等。不同于ResNet引入shortcut以削弱链式求导过长而带来的网络退化问题,BN着眼于中间层输出的分布,力图从这个方面解决前面的问题。文章目录带你一文读懂Batch Normalization1. Int原创 2020-10-18 17:02:17 · 975 阅读 · 0 评论 -
YOLO v1原理详解
YOLO v1原理详解 YOLO(You Only Look Once)这篇论文提出了一个实时的新型目标检测框架,不同于以前RCNN系列基于Region划分再分类和DPM(Deformable Parts Model)这类基于滑动窗口的目标检测系统。YOLO将整个目标检测问题中的bounding box和classfier这两大问题统一成了一个回归的问题。 相较于其他state-of-the-art的目标检测系统, YOLO容易出错的地方在于bbox的定位, 但是却有着更少的False Positiv原创 2020-10-14 22:42:55 · 890 阅读 · 0 评论 -
带你一文读懂Faster RCNN论文
Faster RCNN论文解读 最近看了Faster RCNN的论文, 又参考了一些中文博客, 现在将Faster RCNN的总体思路和实现细节记录在这篇博客, 方便以后复习。 Faster RCNN在RCNN和Fast RCNN的基础之上, 统一了特征抽取、候选区域提取、边界回归、分类, 让这个模型成为了一个端到端的模型, 并且在速度上得到了极大的提升, 让RCNN家族真正实现了Real-Time Detection。文章目录Faster RCNN论文解读0. Faster RCNN概览1. C原创 2020-10-11 10:14:59 · 545 阅读 · 2 评论 -
R-CNN 原理详解
R-CNN 原理详解文章目录R-CNN 原理详解1. Contributions2. 流程详解2.1 总体流程2.2 提取候选区域2.3 训练CNN2.4 训练SVM3. 总结 最近开始学习目标检测的知识,就读了一下R-CNN的论文原文 Rich feature hierarchies for accurate object detection and semantic segmentation。R-CNN的GitHub:repo地址 (PS:全部代码都是用Matlab写的,目前已经停止更新维护了)原创 2020-08-02 16:10:44 · 1443 阅读 · 0 评论 -
一文带你入门深度学习优化算法
一文带你入门深度学习优化算法 一般反向传播神经网络一个完整的训练过程就是由前向传播和反向传播组成。其中前向传播较为直观,只要学过了线性代数一般就很好理解,而反向传播没有前向传播这么直观,所涉及的方法也更加的灵活多变。所以,本文就反向传播的四个经典算法进行详细地讲解,希望能带新手入门深度学习。0. 基础知识看文章前你需要掌握什么知识?线性代数导数的意义和求导法则清楚神经网络的前向传播过程,知道一般神经网络的参数主要分为:权重参数wiw_iwi和偏置参数bib_ibi两个部分。从最优化的角原创 2020-05-10 22:42:11 · 572 阅读 · 0 评论