深度学习
何进哥哥
这个作者很懒,什么都没留下…
展开
-
深度学习资料整理目录,与大家一起讨论
目录1. 空洞卷积作用... 62. Image Pyramid. 63. SPP(Spatial Pyramid Pooling)... 64. deformable convnets V1&V2. 84.1 V1和V2区别... 95. bigbatch 训练... 106. 多GPU并行训练... 107. RoI Pooling与RoIWrap Pooling与RoIAlign Pooling与Preci...原创 2020-06-02 09:33:33 · 1821 阅读 · 2 评论 -
detectron中的blobs
原文:https://blog.csdn.net/u013548568/article/details/79430512主要是从roidb生成blobs的过程以上便是整体的流程图,那么简单说一下detectron产生anchor的过程相对于之前faster产生一系列的anchor不同,FPN在每一个level上面都会创建属于该level感受野的anchor,假设stride为4,8,...转载 2019-03-20 11:57:32 · 447 阅读 · 0 评论 -
最全的Detectron代码分析:从Faster R-CNN 到 Mask R-CNN
原创地址:http://rowl1ng.com/tech/faster-rcnn.htmlDetectron(使用caffe2)是face book开源的的各种目标检测算法的打包(比如mask rcnn、FPN的)。 本文mask rcnn的部分基于pytorch实现的一版Detectron:Detectron.pytorch(参考了Faster R-CNN的pytorch实现),需要安装...转载 2019-03-22 10:45:11 · 3949 阅读 · 0 评论 -
CNN中FLOPs计算
转载地址:https://blog.csdn.net/sinat_34460960/article/details/84779219在这之前我们先看一下CNN的前向传播计算公式,便于理解什么是parameters和FLOPs,这里参考Andrew老师课堂上的课件,如下:前向传播过程其实就是将输入或上层输出左乘以一个W,然后加上一个b,最后使用合适的\sigma函数进行激活的过程,...转载 2019-04-17 13:36:03 · 4088 阅读 · 0 评论 -
smoothL1 loss不用L1 loss和L2 LOSS
为了从两个方面限制梯度: 当预测框与 ground truth 差别过大时,梯度值不至于过大; 当预测框与 ground truth 差别很小时,梯度值足够小。考察如下几种损失函数,其中 x 为预测框与 groud truth 之间 elementwise 的差异:损失函数对 x 的导数分别为:观察 (4),当 x 增大时 L2 损失对 x 的导数...原创 2019-09-07 13:08:21 · 1640 阅读 · 0 评论 -
Focal Loss理解
1. 总述Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重,也可理解为一种困难样本挖掘。2. 损失函数形式Focal loss是在交叉熵损失函数基础上进行的修改,首先回顾二分类交叉上损失:是经过激活函数的输出,所以在0-1之间。可见普通的交叉熵对于正样本而言,输出概率越大损失越小。对...转载 2019-09-07 16:19:06 · 799 阅读 · 0 评论 -
深度学习最全优化方法总结比较(SGD,Adagrad,Adadelta,Adam,Adamax,Nadam)
本文将梳理:每个算法的梯度更新规则和缺点 为了应对这个不足而提出的下一个算法 超参数的一般设定值 几种算法的效果比较 选择哪种算法0.梯度下降法深入理解以下为个人总结,如有错误之处,各位前辈请指出。对于优化算法,优化的目标是网络模型中的参数θ(是一个集合,θ1、θ2、θ3 ......)目标函数为损失函数L = 1/N ∑ Li (每个样本损失函数的叠加求均值)。这个损失函数...转载 2019-09-08 21:03:30 · 1701 阅读 · 0 评论 -
深度学习 残差块
目录恒等残差块——The identity block卷积残差块——The convolutional block 恒等残差块——The identity block The identity block是ResNets中使用的标准块,对应于输入激活(例如 a [1])与输出激活具有相同维度(例如a [l +2])。(1)、两层恒等残差块下图展示了ResNets的...原创 2019-09-18 13:16:28 · 23136 阅读 · 0 评论 -
堆叠hourglass网络
本文目录1. 简介2. stacked hourglass3. hourglass4. 上采样myUpsample5. 残差模块6. conv7. ConvBlock1. 简介该论文利用多尺度特征来识别姿态,如下图所示,每个子网络称为hourglass Network,是一个沙漏型的结构,多个这种结构堆叠起来,称作stacked hourglass。堆叠的...转载 2019-09-18 13:53:08 · 1403 阅读 · 2 评论 -
detectron中的roidb
roidb数据结构roidb的类型是list, 其中的每个元素的数据类型都是dict, roidb列表的长度为数据集的数量(即图片的数量), roidb中每个元素的详细情况如下表所示:for entry in roidb 数据类型 详细说明 entry['id'] int 代表了当前image的img_id entry['file_name'] str...转载 2019-03-20 11:56:40 · 403 阅读 · 0 评论 -
faster RCNN系列之Non-local Neural Networks
原创地址:https://blog.csdn.net/u010158659/article/details/78635219Motivation“Non-local”直译为“非局部”。个人的理解是指特征提取时,当前输入数据的特征计算要考虑其它输入数据的信息。举例来说,非局部操作的关注点就是在于如何建立起图像上两个有一定距离的像素之间的联系,如何建立视频里两帧的联系,如何建立一段话中不同词的...转载 2019-01-09 09:34:21 · 451 阅读 · 0 评论 -
faster RCNN系列之Group Normalization
引用地址:https://blog.csdn.net/u014380165/article/details/79810040论文:Group Normalization论文链接:https://arxiv.org/abs/1803.08494Group Normalization(GN)是针对Batch Normalization(BN)在batch size较小时错误率较高而提出的改进...转载 2019-01-08 10:26:18 · 477 阅读 · 0 评论 -
目标检测|YOLOv2原理与实现(附YOLOv3)
转发:https://zhuanlan.zhihu.com/p/35325884前言在前面的一篇文章中,我们详细介绍了YOLOv1的原理以及实现过程。这篇文章接着介绍YOLOv2的原理以及实现,YOLOv2的论文全名为YOLO9000: Better, Faster, Stronger,它斩获了CVPR 2017 Best Paper Honorable Mention。在这篇文章中,作者首先在Y...转载 2018-06-05 15:15:17 · 10229 阅读 · 3 评论 -
深度学习与信息安全(网络安全)结合几点启示
从事网络安全又几年时间,从事过早期FW、UTM、WAF等开发工作,对网络安全应该有一定的基础;同时也从事人工智能,尤其是深度学习2年。一直想将深度学习与信息安全结合,提供一套解决方案。也看了一些这方面的相关文章,已经当前安全公司在这方面的研究,大体总结如下:一、深度学习与信息安全结合的当前形势: 信息安全公司将深度学习与信息安全结合,国内应该才刚刚起步,的确有些公司已在尝试...原创 2018-07-08 16:53:11 · 5960 阅读 · 1 评论 -
ResNeXt算法详解(resnet提升篇)
转自:https://blog.csdn.net/u014380165/article/details/71667916论文:Aggregated Residual Transformations for Deep Neural Networks论文链接:https://arxiv.org/abs/1611.05431PyTorch代码:https://github...转载 2018-06-20 11:29:32 · 30403 阅读 · 7 评论 -
DenseNet算法详解(2017 CVPR,resnet改良)
转自:https://blog.csdn.net/u014380165/article/details/75142664论文:Densely Connected Convolutional Networks 论文链接:https://arxiv.org/pdf/1608.06993.pdf 代码的github链接:https://github.com/liuzhua...转载 2018-06-20 11:33:51 · 3916 阅读 · 0 评论 -
FPN(feature pyramid networks)算法详解
转自:https://blog.csdn.net/u014380165/article/details/72890275 这篇论文是CVPR2017年的文章,采用特征金字塔做目标检测,有许多亮点,特来分享。论文:feature pyramid networks for object detection 论文链接:https://arxiv.org/abs/1612.0...转载 2018-06-20 11:43:56 · 611 阅读 · 0 评论 -
渐进式神经网络结构搜索技术(Progressive Neural Architecture Search)(2018年最强最智能的图像分类)详解
转发地址为:https://yq.aliyun.com/articles/622265?spm=a2c4e.11155472.0.0.402c3fa6VbJvBH神经网络结构搜索是谷歌的AutoML的一个具体分支。约翰斯霍普金斯大学刘晨曦博士和Alan Yullie 教授,以及Google AI的李飞飞、李佳等多名研究者提出渐进式神经网络结构搜索技术,论文被ECCV 2018接收作为Oral。...转载 2018-12-12 21:40:59 · 6779 阅读 · 2 评论 -
GoogLeNet 之 Inception(V1-V4)
转载:http://blog.csdn.net/diamonjoy_zone/article/details/70576775参考:1. Inception[V1]: Going Deeper with Convolutions2. Inception[V2]: Batch Normalization: Accelerating Deep Network T转载 2017-11-26 12:16:49 · 6800 阅读 · 0 评论