深度学习论文
忘情摆渡
人生而孤独,却不甘寂寞。
展开
-
XNOR-Net ImageNet Classification Using Binary Convolutional Neural Networks
篇论文引入了一种对filter,feature map进行二值化的算法,从而避免了传统CNN中卷积操作的实数乘运算。论文提到,单纯对filter参数二值化,会有2X效率的提升,如果再对feature map的值进行二值化会有58X提升,并提升27X的内存利用率,但是会有一定的准确度损失,但是这篇论文仍然堪称解决CPU训练深度网络效率低的良药。原创 2016-09-24 12:12:45 · 4453 阅读 · 1 评论 -
Learning Structured Sparsity in Deep Neural Networks
如果弄过机器学习或者数据挖掘等,相信大家对l1,l2正则化一定不会陌生,l1正则的特点是可以在一定程度上使学习出来的参数趋向于0,l2正则在一定程度上可以防止过拟合。所以很多人使用l1正则使学习出来的模型尽量稀疏,但是学习出来的稀疏模型,并不能对模型进行很好的加速,因为为0的参数太过均匀,不能批量的规避掉运算,这篇论文就是解决这种为0参数分布不均的情况。原创 2017-02-23 15:56:25 · 7814 阅读 · 2 评论 -
论文笔记--Fully Convolutional Networks for Semantic Segmentation
CNN对图像的分类任务已经非常精准(实验室数据下),但是怎么样才能识别图片中特定部分的物体,在2015年之前还是一个很有挑战性的任务,这篇论文就给它指明了一个方向。原创 2017-01-11 16:52:35 · 1232 阅读 · 0 评论 -
论文笔记 R-FCN: Object Detection via Region-based Fully Convolutional Networks
目标检测领域,从rbg大神提出之后,到目前逐渐分化出2大阵营,一种是以Proposal+classification为主的multi-stage的方法,另一种是以YOLO为代表的End2End的模型,前一种模型特点就是精度高,后一种的特点是速度快,但是后面肯定end2end也会达到multi-stage的精度。原创 2016-12-15 17:12:48 · 2085 阅读 · 0 评论 -
A Neural Algorithm of Artistic Style--码农的文艺梦
A Neural Algorithm of Artistic Style想搞艺术装逼的瞧这里。原创 2016-09-24 12:17:45 · 1098 阅读 · 0 评论 -
Faster R-CNN 论文笔记
Faster rcnn是用来解决计算机视觉(CV)领域中Object Detection的问题的。经典的解决方案是使用: SS(selective search)产生proposal,之后使用像SVM之类的classifier进行分类,得到所有可能的目标. 使用SS的一个重要的弊端就是:特别耗时,而且使用像传统的SVM之类的浅层分类器,效果不佳。原创 2016-10-12 19:17:15 · 891 阅读 · 0 评论 -
Deep Neural Decision Forests
Deep Neural Decision Forests为ICCV2015 Best Paper,这篇论文提出了一个非常有建设性的思路,那就是将传统数据挖掘(分类、回归超牛逼)的思想结合到卷积神经网络(提特征超牛逼)里面,这样训练出一个end to end的模型。原创 2016-09-18 15:41:42 · 5303 阅读 · 3 评论 -
Seeing the Big Picture:Deep Embedding with Contextual Evidences
部特征以及基于CNN提取的全局特征对图片进行索引。文中提到SIFT局部特征在图片检索领域具有里程碑式的影响,但是受限于其局部而没考虑到全局的线索,由此带来了mAP的损失,虽然后面的研究工作也提出了基于color和boundary的特征,但这些都是启发式的,没有理论依据。因此作者提出了使用CNN的region以及global特征来弥补SIFT的不足,同时针对这3中特征建立索引称之为Deep Embedding。原创 2016-09-24 12:14:22 · 509 阅读 · 0 评论 -
【转载】A Recipe for Training Neural Networks
A Recipe for Training Neural Networks大神Karpathy的经验之谈,转载自Karpathy的博客。Some few weeks ago I posted a tweet on “the most common neural net mistakes”, listing a few common gotchas related to training neu...转载 2019-06-17 21:44:41 · 771 阅读 · 0 评论