深度学习
文章平均质量分 90
咖啡味儿的咖啡
这个作者很懒,什么都没留下…
展开
-
【Attention Is All You Need】Transformer详解
年代:2018年团队:Google1. 前言:Transformer中抛弃了传统的CNN和RNN,整个网络结构完全是由Attention机制组成,更准确地讲,Transformer由且仅由self-Attenion和Feed Forward Neural Network组成。 一个基于Transformer的可训练的神经网络可以通过堆叠Transformer的形式进行搭建,作者的实验是通过搭建编码器和解码器各6层,总共12层的Encoder-Decoder2. activation:对于原创 2020-08-07 17:06:51 · 474 阅读 · 0 评论 -
【Attention in CV】SeNet
ImageNet Top5错误率:2.25%中心思想:对于每个输出channel,预测一个常数权重,对每个channel加权一下。这样模型会更加关注“有用”的层SeNet用在resnet中,提升很大,分类任务重SE-ResNet50性能接近ResNet101...原创 2020-06-02 15:59:23 · 314 阅读 · 0 评论 -
【YOLOv4】
这篇论文的trick是真多,消融实验做的很详细另外如何优化网络结构做到单卡训练也是比较重要的1、Introduction:作者自认为的贡献:设计了一个高效的模型,可以在单1080TI上训练,万千屌丝的救星。 验证和对比了各种各样trick在目标检测任务上的有效性。 修改了SOTA检测模型,减小了对资源的占用,可以使用单卡训练。先看效果2、Related work2.1目标检测模型介绍了1阶段2阶段,有无anchor的各种方案,把检测模型分成以下4个部分,没啥新意,跟m..原创 2020-06-02 11:58:45 · 373 阅读 · 0 评论 -
【YOLOV3-ASFF】
现状:目前多尺度特征融合基本使用的都是FPN,YOLOv3这种特征直接concat或者element-wise add方式,作者并不认为这种方式可以有效的融合不同尺度的特征。 思想:自适应特征融合方式(ASFF)其中,最右边的绿色框是融合特征。其中X1, X2, X3分别为来自level1,level2,level3这三个层的特征。然后level1,level2,level3这三个层的特征分别乘上权重参数并求和,就可以得到新的融合后的特征ASFF-3。实现level1-level3特征图都原创 2020-05-25 11:34:57 · 2016 阅读 · 0 评论 -
【SNIPER】
目的:优化SNIP,减少计算量的同时提升精度(相比SNIP提升4.6个点) base model: Faster RCNN 速度:每秒5张图 思想:SNIP借鉴了多尺度训练的思想,借助了图像金字塔作为模型的输入,提高了效果但是增加了计算量。SNIPER在其基础上略作修改,引入context-regions(论文中也叫chips)思想,在做多尺度时,只关心两个类别:positive chips(包含gt) negtive chips,从ROI抽样获得的,可以理解为难分类的背景论文的核心也是原创 2020-05-24 23:35:21 · 308 阅读 · 0 评论 -
【TensorRT】Faster RCNN部署
参考github的samples,写下加深理解Faster RCNN是一个二阶段模型,部署起来比一阶段网络麻烦一些。在本示例中,使用了TensorRT的一个叫做RPROI_TRT的plugin library,它融合了RPN和ROIPooling。这部分比较重要,首先介绍:layer { name: "RPROIFused" type: "RPROI" bottom: '...原创 2019-12-26 15:18:22 · 3851 阅读 · 1 评论 -
【画图】推荐一款深度学习画图工具
https://github.com/HarisIqbal88/PlotNeuralNet原创 2019-12-04 14:19:49 · 908 阅读 · 0 评论 -
【GIOU】目标检测中的Loss改进:GIOU
目标检测中的Loss改进:GIOUhttps://zhuanlan.zhihu.com/p/63389116原创 2019-11-18 20:04:08 · 1670 阅读 · 0 评论 -
【论文】RecSys 2019最佳论文:基于深度学习的推荐系统是否真的优于传统经典方法
RecSys 2019最佳论文:基于深度学习的推荐系统是否真的优于传统经典方法https://zhuanlan.zhihu.com/p/84361803原创 2019-11-18 19:51:13 · 682 阅读 · 1 评论 -
【torchvision】transforms的二十二个方法
https://zhuanlan.zhihu.com/p/53367135原创 2019-11-12 10:03:06 · 366 阅读 · 0 评论 -
【ROI Pooling】Caffe版源码解析
1. LayerSetUptemplate <typename Dtype>void ROIPoolingLayer<Dtype>::LayerSetUp (const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>...原创 2019-03-11 16:43:50 · 397 阅读 · 0 评论 -
【ROI Align】Cuda版源码解读
1、ROI Aligntemplate <typename T>void ROIAlignForward_cpu_kernel( const int nthreads, const T* bottom_data, const T& spatial_scale, const int channels, const int heig...原创 2019-03-11 17:12:32 · 1424 阅读 · 0 评论 -
【PSROIPooling】源码解析
// ------------------------------------------------------------------// R-FCN// Copyright (c) 2016 Microsoft// Licensed under The MIT License [see r-fcn/LICENSE for details]// Written by Yi Li//...转载 2019-03-11 20:04:59 · 618 阅读 · 0 评论 -
【pytorch】Dataloader 细节
据说,pytorch数据加载部分的 接口可以说是现存 深度学习框架中设计的最好的, 给了我们足够的灵活性。本博文就对 pytorch 的多线程加载 模块(DataLoader) 进行源码上的注释。输入流水线:pytorch的输入流水线的操作顺序:创建一个Dataset对象 创建一个Dataloader对象 不停的循环这个Dataloader对象dataset = MyData...转载 2019-03-08 13:47:42 · 2748 阅读 · 0 评论 -
【COCO API】COCO Python API
可以参考官方代码:https://github.com/dengdan/coco/blob/master/PythonAPI/pycocoDemo.ipynbcoco的标注格式如下:{"info": {"description": "This is stable 1.0 version of the 2017 MS COCO dataset.", "url": ...原创 2019-03-29 16:33:34 · 711 阅读 · 0 评论 -
【datasets】制作车牌
一个不错的开源项目:https://github.com/szad670401/end-to-end-for-chinese-plate-recognition/blob/master/genplate.py原创 2019-03-29 17:02:53 · 619 阅读 · 0 评论 -
【zhuan】K-means 计算 anchor boxes
k-means原理K-means算法是很典型的基于距离的聚类算法,采用距离作为相似性的评价指标,即认为两个对象的距离越近,其相似度就越大。该算法认为簇是由距离靠近的对象组成的,因此把得到紧凑且独立的簇作为最终目标。问题K-Means算法主要解决的问题如下图所示。我们可以看到,在图的左边有一些点,我们用肉眼可以看出来有四个点群,K-Means算法被用来找出这几个点群。算法概要...转载 2019-04-01 19:39:17 · 367 阅读 · 0 评论 -
【NMS】nms_multiclass.m
在Faster RCNN中常见的NMS是在rpn的最后一步,合并重复的IOU用的,由于RPN的预测只有前景和背景之分,所以目前我看到的代码中所用的NMS都是不是多类别的NMS,但是在YOLO这种网络中应该需要用到多类别的NMS。function picks = nms_multiclass(boxes, overlap)%%boxes为一个m*n的矩阵,其中m为boundingbox的个...原创 2019-03-11 14:31:03 · 1088 阅读 · 0 评论 -
【Pytorch】如何获取模型的参数量和计算量
How to install Through PyPi pip install thop Using GitHub (always latest) pip install --upgrade git+https://github.com/Lyken17/pytorch-OpCounter.git How to use Basic usage from tor...转载 2019-03-11 10:52:27 · 19185 阅读 · 0 评论 -
【Faster RCNN】anchor选择细节
https://github.com/smallcorgi/Faster-RCNN_TF为了训练RPN,我们为每个锚点分配一个二值类别标签(是目标或不是目标)。我们给两种锚点分配一个正标签:(i)具有与实际边界框的重叠最高交并比(IoU)的锚点,(ii)具有与实际边界框的重叠超过0.7 IoU的锚点。注意,单个真实边界框可以为多个锚点分配正标签。通常第二个条件足以确定正样本;但我们...原创 2019-03-05 19:55:58 · 2999 阅读 · 0 评论 -
【Faster RCNN】RPN中bbox的回归操作
代码来自github:https://github.com/smallcorgi/Faster-RCNN_TF# ex_roi 用来回归的anchor# gt_roi 每个anchor对应的ground truth# 在进行回归前,保证每个需要回归的anchor都有一个gtbox作为回归的目标def bbox_transform(ex_rois, gt_rois): #计...原创 2019-03-05 19:26:24 · 2088 阅读 · 0 评论 -
true-positive,false-positive,true-negative,false-negative差别
考虑一个二分问题,即将实例分成正类(positive)或负类(negative)。对一个二分问题来说,会出现四种情况。如果一个实例是正类并且也被 预测成正类,即为真正类(True positive),如果实例是负类被预测成正类,称之为假正类(False positive)。相应地,如果实例是负类被预测成负类,称之为真负类(True negative),正类被预测成负类则为假负类(false ...转载 2019-02-27 17:32:40 · 1578 阅读 · 0 评论 -
【MobileNetV2】论文解读
Abstract本文提出的MobileNetV2得performance相比第一版有了一些提升。以它为基础,作者设计了一个新的object detection架构SSDLite;另外作者还将其应用于语义分割上,搭建了一个简化版的DeepLabV3,起名为Mobile DeepLabv3。中间那段没最后,作者认为他们的方法实现了decoupling of the input/output...原创 2019-01-16 23:49:37 · 513 阅读 · 0 评论 -
【MobileNets】论文解读
文章结构 Abstract1、Introduction2、Prior Work3、MobileNet Architecture3.1 Depthwise Separable Convolution3.2 Network Structure and Training3.3 Width Multilier: Thinner Models3.4 Resolution ...原创 2019-01-14 23:39:24 · 369 阅读 · 0 评论 -
【Focal Loss】 Focal Loss for Dense Object Detection 论文解读
Focal Loss通过在Cross Entropy的基础上引入一个 项,此项可以减小 well-classified 目标 的在总loss中占的比例,使得模型更加关注那些难分类的目标。Abstract目前为止,精度最高的目标检测模型仍然是RNN那一套two-stage的方法,One-stage的方法虽然简单、速度快但是精度上与two-stage的方法差不少。作者认为前景和背...原创 2019-01-08 23:33:58 · 341 阅读 · 0 评论 -
【Mask RCNN】ROI Align的基本原理
ROI Align 是 ROI Pooling的改进版本,出现在Mask RCNN论文里。在检测任务中,将ROI Pooling变为ROI Align可以提升检测模型的准确率,在voc2007数据集的提升没有coco的提升大,主要是因为coco中的小目标较多,在coco中主要提升的是小物体的准确率,因为ROI Align相比ROI Pooling主要解决的是misalignment,而小物体受mi...原创 2018-12-26 22:06:33 · 2026 阅读 · 0 评论 -
【Pytorch】.pth权重文件解析
pytorch最后的权重文件是.pth格式的。经常遇到的问题:进行finutune时,改配置文件中的学习率,发现程序跑起来后竟然保持了以前的学习率,并没有使用新的学习率。原因:首先查看.pth文件中的内容,我们发现它其实是一个字典格式的文件其中保存了optimizer和scheduler,所以再次加载此文件时会使用之前的学习率。我们只需要权重,也就是model部分,将...原创 2019-04-01 20:54:48 · 15555 阅读 · 15 评论 -
【Trick】LR的设置策略
吴恩达 Coursera 第二课中有讲如何选择学习率 lr,本文是阅读论文 Cyclical Learning Rates for Training Neural Networks,一种新的 lr 设置策略论文的笔记。增加 lr 短期可能会让 loss 增大,但是长期来看对 loss 减少是有帮助的。基于上面的观察,我们有别于传统的 lr 指数下降,我们采用周期性调整的策略,一种最简单的方式叫...转载 2019-04-08 15:52:07 · 817 阅读 · 0 评论 -
TensorFlow下用自己的数据集训练Faster RCNN
转自:https://blog.csdn.net/u012834824/article/details/78626027 我在使用代码时参考了这个博主的文章,感谢!一、准备自己的数据库 仅改变VOC2007数据库的Annotation、ImageSets、JPEGImages三个文件夹。Annotation为标注文件,ImageSets为训练、测试,JPEGImages为图片。...转载 2018-08-03 13:35:25 · 1023 阅读 · 0 评论 -
【汇总】车道线检测
1、https://zhuanlan.zhihu.com/p/53431081原创 2019-07-18 03:05:45 · 333 阅读 · 0 评论 -
【汇总】人脸关键点检测
方法汇总:1、https://zhuanlan.zhihu.com/p/429681172、https://blog.csdn.net/lgh0824/article/details/85070490数据集:1、https://blog.csdn.net/hacker_long/article/details/836604002、https://zhuanlan.zhihu.c...原创 2019-07-18 03:04:30 · 320 阅读 · 0 评论 -
【汇总】无人驾驶数据集汇总
1、https://zhuanlan.zhihu.com/p/61023298原创 2019-07-18 03:01:44 · 1533 阅读 · 1 评论 -
【OpenPose】资源总结
1、https://blog.csdn.net/htt789/article/details/80283370原创 2019-07-03 16:06:49 · 847 阅读 · 0 评论 -
【imgaug】数据增强
目前发现的最好的一个数据增强库,不止包含对图片的变换,还包含对gt中的bbox和Keypoints的变换,具体操作参考:https://github.com/aleju/imgaug原创 2019-07-07 23:49:18 · 225 阅读 · 0 评论 -
【FLOPS】各种模型统计FLOPs
简介:FLOPs : FLOATING-POINT OPERATIONS PER SECOND1、Pytorch:pytorch有PyTorch-OpCounter:github: https://github.com/Lyken17/pytorch-OpCounter安装:pip install thopfrom torchvision.models import re...原创 2019-07-07 22:58:52 · 5667 阅读 · 3 评论 -
【RetinaNet】RetinaNet解读
讲的不错的bloghttps://blog.csdn.net/JNingWei/article/details/80038594转载 2019-05-16 17:36:32 · 1557 阅读 · 0 评论 -
【YOLO】YOLO V2详解
不错的文章文章中介绍了YOLO V2的改进措施,对剥离试验部分介绍详细,值得看看。https://zhuanlan.zhihu.com/p/35325884转载 2019-05-16 16:44:30 · 498 阅读 · 0 评论 -
【YOLO 】YOLO v1深入理解
不错的文章https://zhuanlan.zhihu.com/p/46691043转载 2019-05-16 14:34:15 · 185 阅读 · 0 评论 -
【ONNX】Faster-rcnn 转 ONNX
Faster RCNN代码可以参考下面链接:https://github.com/facebookresearch/maskrcnn-benchmark最后模型会保存为.pth格式,可以通过如下代码转为ONNXimport osimport numpyfrom io import BytesIOfrom matplotlib import pyplotimport re...原创 2019-07-07 23:44:16 · 4419 阅读 · 1 评论 -
【Tricks】神经网络训练tricks
之前写过一篇文章:如何调整一个不收敛的神经网络https://blog.csdn.net/wangdongwei0/article/details/81256423这里主要写一些tricks:https://zhuanlan.zhihu.com/p/59918821...原创 2019-04-16 15:11:50 · 376 阅读 · 0 评论