关闭

[置顶] MxNet使用总览

写这篇博文的初衷是希望能整理下自己在使用MxNet过程中对这个框架的理解。详细的介绍都给出了链接,这篇相当于一个概括,希望能对这个框架有一个总的认识,内容会不断补充,有疑问的欢迎交流,谢谢。1、下载MxNet并编译 MxNet的官方网址:http://mxnet.io/get_started/install.html 我这里选择如下安装方式:然后按照 Build the MXNet core s...
阅读(231) 评论(0)

[置顶] 损失函数改进方法总览

这篇博客主要列个引导表,简单介绍在深度学习算法中损失函数可以改进的方向,并给出详细介绍的博客链接,会不断补充。1、Large Marge Softmax Loss ICML2016提出的Large Marge Softmax Loss(L-softmax)通过在传统的softmax loss公式中添加参数m,加大了学习的难度,逼迫模型不断学习更具区分性的特征,从而使得类间距离更大,类内距离更小。核...
阅读(183) 评论(0)

MSDNet(Multi-Scale Dense Convolutional Networks)算法笔记

论文:Multi-Scale Dense Convolutional Networks for Efficient Prediction 论文链接:https://arxiv.org/abs/1703.09844 代码地址:https://github.com/gaohuang/MSDNetDenseNet的一作的作品,先来聊聊文章的出发点。对于分类网络的测试而言,有些输入图像是网络容易分类的,...
阅读(41) 评论(0)

FCIS算法的MXNet实现

论文:Fully Convolutional Instance-aware Semantic Segmentation github地址:https://github.com/msracver/FCISFCIS(Fully Convolutional Instance-aware Semantic Segmentation)算法是COCO2016分割的冠军,接下来是自己记录的跑该算法demo和训练...
阅读(19) 评论(0)

SENet(Squeeze-and-Excitation Networks)算法笔记

论文:Squeeze-and-Excitation Networks 论文链接:https://arxiv.org/abs/1709.01507 代码地址:https://github.com/hujie-frank/SENetSequeeze-and-Excitation(SE) block并不是一个完整的网络结构,而是一个子结构,可以嵌到其他分类或检测模型中,作者采用SENet block和...
阅读(27) 评论(0)

YOLO9000算法详解

论文: YOLO9000:Better,Faster,Stronger 论文链接:https://arxiv.org/abs/1612.08242YOLO9000是CVPR2017的最佳论文提名。首先讲一下这篇文章一共介绍了YOLOv2和YOLO9000两个模型,二者略有不同。前者主要是YOLO的升级版,后者的主要检测网络也是YOLOv2,同时对数据集做了融合,使得模型可以检测9000多类物体。而...
阅读(250) 评论(0)

HORQ(High-Order Residual Quantization)算法详解

论文:Performance Guaranteed Network Acceleration via High-Order Residual Quantization 论文链接:https://pan.baidu.com/s/1bMgbme 暂无代码这是ICCV2017的文章,作者主要来自上海交大。我们知道模型压缩方面可以做到不大影响准确率,但是如果同时要做到模型加速还不影响准确率的就非常少了,...
阅读(276) 评论(0)

DSD(Dense-Sparse-Dense Training)算法详解

论文:DSD: Dense-Sparse-Dense Training for Deep Neural Networks 论文链接:https://arxiv.org/pdf/1607.04381.pdf 模型下载地址:https://songhan.github.io/DSD.这是Song Han发在ICLR2017上的文章,我们知道Song Han的研究领域主要是模型压缩,模型加速等,但是这...
阅读(237) 评论(0)

Weighted-Entropy-based Quantization for Deep Neural Networks

论文:Weighted-Entropy-based Quantization for Deep Neural Networks 论文链接这是CVPR2017的一篇文文章,是用基于weight entropy做深度学习模型quantization的模型压缩和加速算法。深度学习模型压缩和加速是近年来的一个研究热点,也是将深度学习模型部署到移动端的必经之路,一方面要压缩模型的大小,减少存储,另一方面要减...
阅读(128) 评论(0)

ThiNet算法详解

论文:ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression 论文链接:https://arxiv.org/abs/1707.06342prune(剪枝)是深度学习模型压缩和加速的重要方法。ThiNet是ICCV2017的文章,主要通过prune方式达到模型压缩和加速,prune以filter(卷积核)为单...
阅读(185) 评论(0)

XNOR-Net算法详解

论文:XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks 链接:https://arxiv.org/abs/1603.05279 代码地址:http://allenai.org/plato/xnornet模型压缩和加速是深度学习算法应用在移动端必须要解决的问题,也是近年来的研究热点,这篇文章就是...
阅读(233) 评论(0)

Precision,Recall,F1score,Accuracy的理解

Precision,Recall,F1score,Accuracy四个概念容易混淆,这里做一下解释。假设一个二分类问题,样本有正负两个类别。那么模型预测的结果和真实标签的组合就有4种:TP,FP,FN,TN,如下图所示。这4个分别表示:实际为正样本你预测为正样本,实际为负样本你预测为正样本,实际为正样本你预测为负样本,实际为负样本你预测为负样本。那么Precision和Recall表示什么意思?一般...
阅读(92) 评论(0)

Caffe用训练好的模型测试图片

这是一个python脚本,用训练好的caffemodel来测试图片,接下来直接上代码,里面有详细解释,大部分你要修改的只是路径,另外在这个脚本的基础上你可以根据自己的需要进行改动。需要的东西:训练好的caffemodel,deploy.prototxt(可以从你的train.prototxt修改得到),可以用的caffe,待测试的图像(比如jpg)import sys caffe_root='/yo...
阅读(137) 评论(0)

深度学习框架的内存优化机制

这篇博文简单介绍下深度学习框架的内存优化方式,主要参考资料1,也就是MXNet的官方文档。内存优化方式主要包括:in-place operation和memory sharing两种,二者在本质上没有太大差别,同时这两种也是MxNet主要采用的内存优化方式,下面的截图均来自参考资料1,接下来基于计算图来讲解。1、in-place operation in-place operation的示意图如下...
阅读(102) 评论(0)

GPU,CUDA,cuDNN的理解

我们知道做深度学习离不开GPU,不过一直以来对GPU和CPU的差别,CUDA以及cuDNN都不是很了解,所以找了些资料整理下,希望不仅可以帮助自己理解,也能够帮助到其他人理解。先来讲讲CPU和GPU的关系和差别吧。截图来自资料1(CUDA的官方文档):从上图可以看出GPU(图像处理器,Graphics Processing Unit)和CPU(中央处理器,Central Processing Uni...
阅读(108) 评论(0)

卷积神经网络系列之softmax,softmax loss和cross entropy的讲解

我们知道卷积神经网络(CNN)在图像领域的应用已经非常广泛了,一般一个CNN网络主要包含卷积层,池化层(pooling),全连接层,损失层等。虽然现在已经开源了很多深度学习框架(比如MxNet,Caffe等),训练一个模型变得非常简单,但是你对这些层具体是怎么实现的了解吗?你对softmax,softmax loss,cross entropy了解吗?相信很多人不一定清楚。虽然网上的资料很多,但是质...
阅读(328) 评论(2)

Memory-Efficient Implementation of DenseNets

论文:Memory-Efficient Implementation of DenseNets 论文链接:https://arxiv.org/abs/1707.06990这篇技术报告旨在改进DenseNet模型占用显存较大的问题。DenseNet是一个全新的模型,对于特征的极致利用可以提高模型的表现能力,同时由于生成大量的intermediate feature(中间特征),因此存储这些inter...
阅读(247) 评论(0)

SSD算法的改进版之R-SSD

论文:Enhancement of SSD by concatenating feature maps for object detection 论文链接:https://arxiv.org/abs/1705.09587算法详解: SSD算法在object detection领域的效果有目共睹,是proposal-free方面的代表算法之一,如果你对SSD算法不大熟悉,可以看看这篇博客:SSD(...
阅读(507) 评论(0)

不需要预训练模型的检测算法—DSOD

论文:DSOD: Learning Deeply Supervised Object Detectors from Scratch 论文链接:https://arxiv.org/abs/1708.01241 caffe代码:https://github.com/szq0214/DSOD.这是一篇ICCV2017的文章,我觉得非常有意思,因为DSOD(Deeply Supervised Objec...
阅读(827) 评论(9)

Yolo 9000的darknet实现

代码的github地址:https://github.com/philipperemy/yolo-9000 我是Ubuntu 16.04系统1、拉取项目git clone --recursive https://github.com/philipperemy/yolo-9000.git因为我只能用http的地址,当然你可以跟github里面一样用git地址,结果都是一样的。默认拉取下来的项目名称是...
阅读(222) 评论(0)

Focal Loss

论文:Focal Loss for Dense Object Detection 论文链接:https://arxiv.org/abs/1708.02002RBG和Kaiming大神的新作。 我们知道object detection的算法主要可以分为两大类:two-stage detector和one-stage detector。前者是指类似Faster RCNN,RFCN这样需要region...
阅读(2532) 评论(9)
60条 共3页1 2 3 下一页 尾页
    个人资料
    • 访问:37008次
    • 积分:973
    • 等级:
    • 排名:千里之外
    • 原创:56篇
    • 转载:1篇
    • 译文:0篇
    • 评论:76条
    最新评论