![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 81
tomeasure
一个立志于用编程满足自己吃货欲望的吃货
展开
-
车道线检测-Eigenlanes 论文学习笔记
Eigenlanes: Data-Driven Lane Descriptors for Structurally Diverse Lanes原创 2023-02-09 14:33:50 · 838 阅读 · 1 评论 -
车道线检测-LaneATT 论文学习笔记
Keep your Eyes on the Lane: Real-time Attention-guided Lane Detection原创 2023-02-09 14:22:44 · 748 阅读 · 0 评论 -
车道线检测-E2E_LSFitting 论文学习笔记
End-to-end Lane Detection through Differentiable Least-Squares Fitting原创 2023-02-09 14:17:50 · 411 阅读 · 0 评论 -
车道线检测-PolyLaneNet 论文学习笔记
PolyLaneNet: Lane Estimation via Deep Polynomial Regression原创 2023-02-09 14:13:51 · 459 阅读 · 0 评论 -
立体匹配-ITSA-CVPR2022论文学习笔记
ITSA-CVPR2022论文学习笔记原创 2022-03-29 00:28:22 · 3874 阅读 · 4 评论 -
Group Norm 学习笔记
论文:《Group Normalization》地址:https://arxiv.org/pdf/1803.08494.pdf优势:小批量训练时优势明显(相比另三个 Norm)其他:Batch Norm、Layer Norm、Instance Norm方法将通道分组,在每组做 Norm代码源自论文def GroupNorm(x, gamma, beta, G, eps=1e−5): # x: input features with shape [N,C,H,W] # gamm.原创 2021-08-19 16:45:52 · 567 阅读 · 0 评论 -
ShuffleNet V2 学习笔记
原论文:《ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design》文中分析了模型的 FLOPS 与实际计算速度之间的差异:以 FLOPS 为判定标注时,未考虑一些会影响速度的重要因素。内存访问耗时(Memory Access Cost, MAC),该项因素在分组卷积耗时中占据了相当大份额;并行化程度(Degree of Parallelism),在相同的 FLOPS 下,模型并行化程度越高,执行速度.原创 2021-04-16 22:50:27 · 206 阅读 · 2 评论 -
torch.utils.data学习笔记
在 Pytorch 的数据加载工具中,torch.utils.data.DataLoader 类起到核心的作用,它是在数据集上的一个 Python 迭代器,并支持以下内容:Map 与迭代器类型的数据集;自定义的数据加载指令;自动分批;单进程与多进程的数据加载;自动内存pinning 这些选项通过 DataLoader 的构造器的参数进行配置,该类的构造器记为:DataLoader(dataset, batch_size=1, shuffle=False, sampler=None,原创 2021-03-31 17:05:16 · 619 阅读 · 1 评论 -
DetectoRS论文学习笔记
原论文:《Siyuan Qiao, Liang-Chieh Chen, Alan Yuille. DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution[J]. arXiv:2006.02334》最后面有 参考代码 的 Github 链接仅描述基本构成,原论文内容很丰富,所以详细情况还是要看论文。效果:论文的两个特点:将 RPN 改为 RFP(Recursiv.原创 2020-06-08 01:11:45 · 1879 阅读 · 4 评论 -
Focal Loss 论文学习笔记
原论文:《T.-Y. Lin, P. Goyal, R. Girshick, K. He, and P. Doll´ar. Focal loss for dense object detection[C]. In ICCV, 2017.》论文中经过实验得到 RetinaNet 中损失函数超参数的 一对最佳值:γ=2\gamma=2γ=2、α=0.25\alpha=0.25α=0.25。目的...原创 2020-04-19 23:39:07 · 524 阅读 · 0 评论 -
人脸检测模型RetinaFace论文学习笔记
原论文:《J. Deng, J Guo, Y Zhou, et al. RetinaFace: Single-stage Dense Face Localisation in the Wild[J]. arXiv:1905.00641v2》论文的两个特点:引入了人脸关键点信息;引入了人脸的三维信息。骨干网络:ResNet-1521. 结构图如下:它使用了骨干网络中残差阶...原创 2020-04-13 13:44:32 · 1370 阅读 · 0 评论 -
Deformable ConvNet 论文学习笔记
原论文:《J. Dai et al., Deformable Convolutional Networks[C]. 2017 IEEE International Conference on Computer Vision (ICCV), Venice, 2017, pp. 764-773.》代码:https://github.com/msracver/Deformable-ConvNets...原创 2020-04-12 16:37:52 · 454 阅读 · 0 评论 -
人脸框检测模型PyramidBox论文学习笔记
人脸框检测模型PyramidBox论文学习笔记原论文:《Xu Tang, Daniel K. Du, Zeqiang He, Jingtuo Liu. PyramidBox: A Context-assisted Single Shot Face Detector[C]. The European Conference on Computer Vision (ECCV), 2018, pp. ...原创 2020-04-08 00:38:16 · 1205 阅读 · 0 评论 -
人脸框检测模型SSH论文学习笔记
人脸框检测模型SSH论文学习笔记原论文:《M Najibi, P Samangouei R Chellappa, et al. SSH: Single Stage Headless Face Detector[C]. 2017 IEEE International Conference on Computer Vision(ICCV), Venice, 2017, pp. 4885-4894....原创 2020-04-06 23:17:23 · 452 阅读 · 0 评论 -
CNN可视化 Feature Map 的四种方法
参考论文:《How convolutional neural network see the world - A survey of convolutional neural network visualization methods》Activation Maximization:Network Inversion:Deconvolutional Neural Networks (De...原创 2019-11-02 23:44:51 · 4642 阅读 · 0 评论 -
深度学习中的几种正则化(Regularization)方法
正则化是一种策略,目的是减少测试误差,大体方式是通过增加(或减少)模型所能拟合的函数的数量来增加(或减少)模型的容量。使用参数范数惩罚通常只惩罚权重,不惩罚偏置。基本公式:J~(θ;X,y)=J(θ;X,y)+αΩ(θ)\widetilde{J}(\pmb{\theta};\pmb{X},y)=J(\pmb{\theta};\pmb{X},y)+\alpha\Omega(\pmb{\t...原创 2019-10-23 16:32:41 · 4240 阅读 · 0 评论 -
MTCNN 论文笔记
原论文地址:Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks代码:MatLabC++&CaffePython&Caffe参考资料:MTCNN(Multi-task convolutional neural networks)人脸对齐(这篇文章有结构图...原创 2019-10-20 15:42:59 · 938 阅读 · 0 评论 -
Layer Normalization学习笔记
原论文:《Layer Normalization》目的:消除 Covariate Shift 问题论文以几何的视角对 Layer Normalization 在生成线性模型(Generalized Linear Models, GLM)上的效果进行了数学上的分析,值得读一下。论文最后补充了一些LN的应用,可以在使用的时候作参考。说明:Layer Normalization 是对 Ba...原创 2019-10-18 18:16:15 · 2173 阅读 · 0 评论 -
S3FD-论文笔记
这个模型采用了基于锚的检测框架(可参考RPN与SSD)。缺点:面部越小,效果越差。网络结构:Scale-Equitable Framework基于VGG16;对VGG16,保持 conv1_1到pool5不变;对VGG16的fc6与fc7,使用降采样的方式对其参数进行抽样,以将两者均转变为卷积层conv_fc6与conv_fc7;在conv_fc7后面添加新的两组卷积层conv6(c...原创 2019-10-16 14:50:47 · 605 阅读 · 2 评论 -
CV中基本卷积函数的变体-花海《深度学习》笔记
注意:这里的卷积函数,其实是数学上的相关函数,而不是数学上的卷积函数。记号:K\pmb{K}KKK:4维核张量Ki,j,k,lK_{i,j,k,l}Ki,j,k,l:K\pmb{K}KKK 的元素,角标的含义:iii:输出中的第 iii 个通道jjj:输入中的第 iii 个通道kkk, lll:第 kkk 行,第 lll 列V\pmb{V}VVV:3维观测数据张量Vi,...原创 2019-09-27 11:34:49 · 759 阅读 · 0 评论 -
NNLM学习笔记
原论文: http://jmlr.org/papers/volume3/bengio03a/bengio03a.pdf其他资料:https://blog.csdn.net/sxhlovehmm/article/details/41252125NNLM(Neural Probabilistic Language Model),使用神经网络来对语言模型进行建模。语言模型的公式如下:P^(w...原创 2019-05-12 02:18:48 · 510 阅读 · 0 评论 -
OSError: [E050] Can't find model 'en'. It doesn't seem to be a shortcut link, a Python package or a
OSError: [E050] Can’t find model ‘en’. It doesn’t seem to be a shortcut link, a Python package or a valid path to a data directory.问题描述:Namespace(afn='gelu', analysis=True, attn_pdrop=0.1, b1=0.9, b...原创 2019-03-15 20:10:29 · 9382 阅读 · 7 评论 -
SSD神经网络模型学习资料整理
论文链接:《SSD: Single Shot MultiBox Detector》Tensorflow-SSD源码学习系列:『TensorFlow』SSD源码学习_其一:论文及开源项目文档介绍『TensorFlow』SSD源码学习_其二:基于VGG的SSD网络前向架构『TensorFlow』SSD源码学习_其三:锚框生成『TensorFlow』SSD源码学习_其四:数据介绍及TFR文件...原创 2019-09-24 12:28:10 · 1153 阅读 · 2 评论 -
Faster R-CNN 论文学习笔记
原论文:《Faster R-CNN: Towards Real-Time ObjectDetection with Region Proposal Networks》代码:(Python) https://github.com/rbgirshick/py-faster-rcnn(Matlab) https://github.com/shaoqingren/faster_rcnn关键...原创 2019-09-12 21:32:26 · 517 阅读 · 0 评论 -
Fast R-CNN 论文学习笔记
原论文:《Fast R-CNN》代码:https://github.com/rbgirshick/fast-rcnn关键操作:RoI映射、RoI池化基本说明:输入:图片及一些目标候选区域流程:获取候选框;特征提取,获取特征图;将候选框映射到特征图上;在特征图上,根据候选框在特征图上的映射进行RoI池化,得到固定长度的特征向量;将特征向量分别送入两个全连接层;两个全连接...原创 2019-09-10 16:20:08 · 356 阅读 · 0 评论 -
注意力机制在NLP问题中的介绍与调查-论文翻译
基本是机器翻译,也进行了基本的人工矫正,凑活看吧原论文:《An Introductory Survey on Attention Mechanisms in NLP Problems》链接:https://arxiv.org/abs/1811.05544论文时间:2018年摘要首先源于人类直觉,后来适用于机器翻译以进行自动tokens对齐,注意机制,一种可用于根据每个元素分配的重...翻译 2019-03-29 16:27:53 · 2930 阅读 · 0 评论 -
GELU论文翻译
GELU论文翻译基本是机器翻译,也进行了基本的人工矫正,凑活看吧原论文:Bridging Nonlinearities and Stochastic Regularizers with Gaussian Error Linear Units摘要本文中我们提出了一种具有高性能的神经网络激活函数 Gaussian Error Linear Units(GELU)。GELU非线性是随机过程的...翻译 2019-03-17 18:40:04 · 3909 阅读 · 0 评论 -
ResourceExhaustedError (see above for traceback): OOM when allocating tensor with shape[16,77,3072]
跑模型的时候出现了下面的错误(太长了,所以只保留了有用的关键信息)。在网上得知,出现这种错误的原因可能是显存空间不够,这有可能是使用的batch_size过大或者显卡被其他服务占用引起的。之后我查看了一下源码,偶然间发现代码里使用的n_gpu的默认值是4,我将其修改为1并重新运行代码之后,代码被成功执行。结合网上搜索到的资源和我的这次试验,总结一下出现这个问题的原因:batch_size太...原创 2019-03-16 19:23:44 · 4483 阅读 · 4 评论 -
SWISH论文翻译
SWISH论文翻译基本是机器翻译,也进行了基本的人工矫正,凑活看吧原论文:SEARCHING FOR ACTIVATION FUNCTIONS链接:https://arxiv.org/pdf/1710.05941.pdf摘要深度网络中激活函数的选择对训练动态和任务性能有显着影响。目前,最成功和广泛使用的激活函数是整流线性单元(ReLU)。尽管已经提出了各种手工设计的ReLU替代品,但...翻译 2019-03-20 11:48:51 · 2412 阅读 · 0 评论 -
函数tf.variable_scope的简单介绍
函数tf.variable_scope的简单介绍经常看到这个函数,所以特地查了一下源码单独记一下。参考资料:$PYTHONHOME/lib/python3.5/site-packages/tensorflow/python/ops/variable_scope.pyhttps://github.com/tensorflow/docs/blob/r1.3/site/en/api_docs...原创 2019-03-19 15:41:25 · 7233 阅读 · 5 评论 -
Transformer论文翻译
基本是机器翻译,进行了简单的人工修正,凑活看吧原论文: Attention Is All You Need摘要主要的序列转导模型是基于复杂的循环或卷积神经网络,包括编码器和解码器。性能最好的模型还通过一个注意机制连接编码器和解码器。我们提出了一种新的简单网络结构,即Transformer,它完全基于注意机制,完全不需要递归和卷积。对两个机器翻译任务的实验表明,这些模型在质量上更优,同时更...翻译 2019-03-04 00:02:44 · 6459 阅读 · 5 评论 -
GPT-1论文翻译
基本是机器翻译,也进行了基本的人工矫正,凑活看吧原论文:Improving Language Understanding by Generative Pre-Training摘要自然语言理解包括各种各样的任务,如文本蕴涵、问题解答、语义相似性评估和文档分类。虽然大量的未标记的文本语料库非常丰富,但是用于学习这些特定任务的标记数据却非常稀缺,这就使得接受过歧视性训练的模型难以充分执行。我们...翻译 2019-03-02 18:44:20 · 8576 阅读 · 0 评论 -
/bin/sh: nvcc: command not found
在编译darknet的时候,报错:/bin/sh: nvcc: command not found解决办法:nvcc是cuda的一个可执行文件,位于CUDAHOME/bin下。考虑到我已经将cuda安装在/usr/local/中,故设置环境变量如下:PATH=$PATH:/usr/local/cuda/bin之后再对darknet进行编译,问题解决。...原创 2018-12-12 17:23:59 · 5805 阅读 · 0 评论 -
Why Does Unsupervised Pre-training Help Deep Learning 论文翻译
为什么无监督预训练有助于深度学习?本文基本是机器翻译,并参考了娄英欣的翻译:https://blog.csdn.net/qq_37655759/article/details/57445246原论文:《Why Does Unsupervised Pre-training Help Deep Learning》原论文中有不少脚注,这里不再列出,有兴趣可以查看原论文。摘要:最近的研究致...翻译 2019-03-23 17:56:29 · 1258 阅读 · 0 评论 -
BERT-论文翻译
BERT:预训练的深度双向 Transformer 语言模型Jacob Devlin;Ming-Wei Chang;Kenton Lee;Kristina ToutanovaGoogle AI Language{jacobdevlin,mingweichang,kentonl,kristout}@google.com摘要我们提出了一种新的称为 BERT 的语言表示模型,BERT 代表来自...转载 2019-03-31 17:58:45 · 6435 阅读 · 1 评论 -
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史(转)本文的主题是自然语言处理中的预训练过程,会大致说下NLP中的预训练技术是一步一步如何发展到Bert模型的,从中可以很自然地看到Bert的思路是如何逐渐形成的,Bert的历史沿革是什么,继承了什么,创新了什么,为什么效果那么好,主要原因是什么,以及为何说模型创新不算太大,为何说Bert是近年来NLP重大进展的集大...原创 2019-03-31 23:48:46 · 237 阅读 · 0 评论 -
Selective Search 论文学习笔记
原论文:《Selective Search for Object Recognition》关键字:分层分组算法、初始化区域集、相似度计算keywords: Hierarchical Grouping Algorithm, Obtaining Initial Regions, Calculating Similarity一、分层分组算法(Hierarchical Grouping Algo...原创 2019-09-09 17:59:33 · 2020 阅读 · 0 评论 -
R-CNN(Regions with CNN features)学习笔记
R-CNN(Regions with CNN features)学习笔记原论文:《Rich feature hierarchies for accurate object detection and semantic segmentation》代码地址:(matlab)https://github.com/rbgirshick/rcnn一、模型的使用步骤对一张图片生成多个候选区域;...原创 2019-09-08 12:19:29 · 1310 阅读 · 0 评论 -
centos上编译caffe出错:/bin/ld: cannot find -lcblas
错误信息描述:在centos7.2上编译CPU版本的caffe时,出现以下错误:CXX src/caffe/net.cppAR -o .build_release/lib/libcaffe.aLD -o .build_release/lib/libcaffe.so.1.0.0/bin/ld: cannot find -lcblas/bin/ld: cannot find -latlas...原创 2019-09-04 11:16:25 · 761 阅读 · 0 评论 -
基于GPT的传统中国诗词生成-论文笔记
原论文:《GPT-based Generation for Classical Chinese Poetry》该论文使用GPT模型去生成中国传统诗词。模型:基于BERT源码实现的GPT预训练:8 Nvidia V100(16GB) GPUs for 4 epochs微调:使用自动回归语言模型训练数据:预训练:中国新闻语料微调训练:作者等人收集的开放可用的传统中国诗词...原创 2019-07-05 16:50:50 · 3195 阅读 · 2 评论