![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习论文系列博客
文章平均质量分 92
gdtop818
这个作者很懒,什么都没留下…
展开
-
Kaiming He大神论文合集
Kaiming He2011-2016 Microsoft Research Asia (MSRA)2016- Research Scientist, Facebook AI Research (FAIR)Best Paper Award in CVPR 2009(Haze Removal), CVPR 2016(ResNet), ICCV 2017(Mask R-CNN) (Marr...原创 2019-04-09 23:09:53 · 3483 阅读 · 0 评论 -
(39)[ECCV14] SPPNet: Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
计划完成深度学习入门的126篇论文第三十九篇,Kaiming he以及孙剑等完成的对VIsual Recognition中Spatial Pyramid Pooling的研究。[github]Abstract现有的深度卷积神经网络(CNNs)需要一个固定大小的输入图像(例如,224 x224)。这种要求是人为的,可能会降低对任意大小/尺度的图像或子图像的识别精度。在这项工作中,我们为网络...原创 2019-04-07 11:16:25 · 1024 阅读 · 0 评论 -
Transfer Learning[论文合集]
https://handong1587.github.io/deep_learning/2015/10/09/transfer-learning.htmlJump to...Papers One Shot Learning Few-Shot LearningPapersDiscriminative Transfer Learning with Tree-based Priors...转载 2019-04-06 17:02:40 · 2825 阅读 · 0 评论 -
Object Detection[论文合集]
https://handong1587.github.io/deep_learning/2015/10/09/object-detection.htmlJump to...Papers R-CNN Fast R-CNN Faster R-CNN YOLO YOLOv2 ...转载 2019-04-06 17:00:03 · 3595 阅读 · 1 评论 -
(38)[CVPR14] R-CNN: Rich feature hierarchies for accurate object detection and semantic segmentation
计划完成深度学习入门的126篇论文第三十八篇,Berkeley的Ross Girshick等发表的层级特征feature hierarchies用于object detection和semantic segmentation方向的论文。[github]Abstract在PASCAL VOC标准数据集上测量的目标检测性能在最近几年趋于稳定。性能最好的方法是复杂的集成系统,它通常将多个低层图像...原创 2019-04-06 11:19:23 · 1850 阅读 · 0 评论 -
(37)[NIPS13] Deep Neural Networks for Object Detection
计划完成深度学习入门的126篇论文第三十七篇,Google的Christian Szegedy等发表的在文本分类的Bag技巧的论文。Abstract深度神经网络(DNNs)最近在图像分类任务[14]中表现出了优异的性能。在本文中,我们进一步解决了使用DNNs进行目标检测的问题,即不仅分类而且精确定位各种类的目标。我们提出了一种简单而强大的对象检测公式,将其作为对象边界框Mask的回归问题。...原创 2019-04-05 12:33:20 · 657 阅读 · 0 评论 -
(36)[EACL] Bag of Tricks for Efficient Text Classification
计划完成深度学习入门的126篇论文第三十六篇,FAIR的Tomas Mikolov等发表的在文本分类的Bag技巧的论文。FastText [github]Abstract本文探讨了一种简单有效的文本分类基准。实验表明,我们的快速文本分类器fastText在准确率上与深度学习分类器基本相当,在训练和评价方面,速度提高了许多数量级。使用一个标准的多核CPU,我们可以在不到10分钟的时间内训练快...原创 2019-04-05 10:48:22 · 1013 阅读 · 0 评论 -
(35) [arXiv17] Very Deep Convolutional Networks for Text Classification
计划完成深度学习入门的126篇论文第三十五篇,Yann Le Cun等发表的文本分类的论文。Abstract许多NLP任务的主要方法是递归神经网络,特别是LSTMs和卷积神经网络。然而,与推动计算机视觉发展的深度卷积网络相比,这些架构显得相当肤浅。我们提出了一种新的文本处理体系结构(VDCNN),它直接在字符级操作,只使用小的卷积和池操作。我们能够表明,该模型的性能随着深度的增加而增加:使...原创 2019-04-05 10:30:57 · 1516 阅读 · 2 评论 -
(31)[JMLR16] Ask Me Anything: Dynamic Memory Networks for Natural Language Processing
计划完成深度学习入门的126篇论文第三十一篇,CA的Richard Socher发表的人机问答的论文。ABSTRACT&INTRODUCTION摘要自然语言处理中的大多数任务都可以通过语言输入转换成问答(QA)问题。我们介绍了动态记忆网络(DMN),这是一种神经网络结构,它处理输入序列和问题,形成情景记忆,并生成相关的答案。问题触发了一个迭代注意过程,该过程允许模型将其注意条件...原创 2019-03-31 17:34:37 · 1164 阅读 · 1 评论 -
(30)[ICLR13] Efficient Estimation of Word Representations in Vector Space
计划完成深度学习入门的126篇论文第三十篇,Google的Jeffrey Dean、Greg Corrado、Tomas Mikolov发表的第一排word2vec论文,引用高达10000次,同时也是CS224nLecture1的推荐readings。源码ABSTRACT&INTRODUCTION摘要我们提出了两种新的模型结构,用于从非常大的数据集计算单词的连续向量表示。这些表...原创 2019-03-31 16:27:46 · 1047 阅读 · 0 评论 -
(29)[NIPs13] Distributed Representations of Words and Phrases and their Compositionality
计划完成深度学习入门的126篇论文第二十九篇,Google的Jeffrey Dean、Greg Corrado、Tomas Mikolov及Ilya Sutskeve发表的word2vec论文,引用高达12000次,同时也是CS224nLecture1的推荐readings。ABSTRACT&INTRODUCTION摘要最近引入的Skip-gram模型是一种高效的学习高质量分布...原创 2019-03-31 15:49:16 · 1408 阅读 · 1 评论 -
(28)[AISTATS15] Joint Learning of Words and Meaning Representations for Open-Text Semantic Parsing
计划完成深度学习入门的126篇论文第二十八篇,蒙特利尔大学的Bengio领导关于Joint Learning用于Open-Text研究语义分析及意义表示的论文。ABSTRACT&INTRODUCTION摘要Open-text语义分析器(semantic parsers)的目的是通过推断相应的语义表示(meaning representation)来解释自然语言中的任何语句。不幸...原创 2019-03-27 13:04:07 · 1283 阅读 · 0 评论 -
Unsupervised Learning[论文合集]
https://handong1587.github.io/deep_learning/2015/10/09/unsupervised-learning.htmlJump to... 1.Papers 1.Clustering 2.Auto-encoder 3.RBM (Restricted Boltzmann Machine) ...转载 2019-04-07 11:19:04 · 2895 阅读 · 0 评论 -
Reinforcement Learning[论文合集]
https://handong1587.github.io/deep_learning/2015/10/09/rl.htmlJump to... 1.Tutorials 1.Simple Reinforcement Learning with Tensorflow 2. Courses 3. Papers 1.Surveys...转载 2019-04-07 11:20:30 · 4942 阅读 · 0 评论 -
(45)[NIPS16] R-FCN: Object Detection via Region-based Fully Convolutional Networks
计划完成深度学习入门的126篇论文第四十五篇,MSRA的Jian Sun和Kaiming He研究的一种新的目标检测方法。[github] Object Detection的基础主要是Ross Girshick和Kaiming He的研究成果。Abstract我们提出了基于区域的全卷积网络,用于精确和有效的目标检测。与之前的基于区域的检测器(如Fast/Faster R-CNN)相比,我们...原创 2019-04-09 20:42:55 · 1194 阅读 · 1 评论 -
(44)[ECCV16] SSD: Single Shot MultiBox Detector
计划完成深度学习入门的126篇论文第四十四篇,Google的Christian Szegedy及Umich,UNC等学者研究的一种新的目标检测方法,可以看做是和YOLO single-shot思想相似的方法。[github]Abstract提出了一种利用单个深度神经网络对图像中目标进行检测的方法。我们的方法名为SSD,它将边界框的输出空间离散为一组默认框,每个特征映射位置具有不同的纵横比和...原创 2019-04-09 18:34:07 · 534 阅读 · 0 评论 -
(34)[NIPS15] Teaching Machines to Read and Comprehend
计划完成深度学习入门的126篇论文第三十四篇,DeepMind的Karl Moritz Hermann等发表的人机问答的论文。Abstract教机器阅读自然语言文档仍然是一个难以捉摸的挑战。机器阅读系统可以通过回答他们所见过的文档内容提出的问题的能力来进行测试,但是到目前为止,这种类型的评估缺少大规模的培训和测试数据集。在这项工作中,我们定义了一种新的方法来解决这个瓶颈,并提供大规模的监督...原创 2019-04-03 16:24:01 · 1024 阅读 · 0 评论 -
(43)[CVPR16] YOLO(You Only Look Once): Unified, Real-Time Object Detection
计划完成深度学习入门的126篇论文第四十三篇,微软的Ross Girshick及UW的学者研究Obeject Detection的模型。(本篇算是YOLO v1,截止目前出到了v3版本)[官网]Abstract我们提出了一种新的目标检测方法YOLO。先前关于对象检测的工作重新定义分类器来执行检测。相反,我们将对象检测框架为一个回归问题,回归到空间分隔的边界框和相关的类概率。在一次评估中,单...原创 2019-04-09 14:41:09 · 946 阅读 · 0 评论 -
(33)[ICLR16] TOWARDS AI-COMPLETE QUESTION ANSWERING: A SET OF PREREQUISITE TOY TASKS
计划完成深度学习入门的126篇论文第三十三篇,FAIR的Tomas Mikolov领导发表的人机问答的论文。ABSTRACT机器学习研究的一个长期目标是产生适用于推理和自然语言的方法,特别是建立一个智能对话代理。为了衡量这一目标的进展,我们主张使用一组代理任务,通过回答问题来评估阅读理解。我们的任务从几个方面来衡量理解:系统是否能够通过链接事实、简单的归纳、推理等回答问题。这些任务被设计为...原创 2019-04-03 13:29:43 · 1732 阅读 · 0 评论 -
(32)[AAAI16] Character-Aware Neural Language Models
计划完成深度学习入门的126篇论文第三十二篇,Harvard的Yoon Kim发表的character级别的语言模型。[github]Abstract我们描述了一个简单的神经语言模型,它只依赖于字符级的输入。预测仍然是在文字层面进行的。该模型采用卷积神经网络(CNN)和highway network对字符进行处理,输出为长短时记忆(LSTM)递归神经网络语言模型(RNN-LM)。在Penn...原创 2019-04-03 12:57:46 · 833 阅读 · 0 评论 -
(42)[ICCV17] Mask R-CNN
计划完成深度学习入门的126篇论文第四十二篇,微软的Ross Girshick研究的Obeject Detection的模型。[github]基础论文:[R-CNN] [Fast R-CNN] [Faster R-CNN]Abstract我们提出了一个概念上简单,灵活和通用的目标分割框架。我们的方法有效地检测图像中的目标,同时为每个实例生成高质量的分割Mask。称为Mask R-CNN...原创 2019-04-08 22:18:52 · 622 阅读 · 0 评论 -
(41)[NIPS15] Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
计划完成深度学习入门的126篇论文第四十一篇,MSRA的Kaiming He及Ross Girshick, 和Jian Sun等完成的对前作Fast R-CNN的改进。[github]Abstract最先进的目标检测网络依赖于区域建议算法来假设目标位置。SPPnet[1]和Fast R-CNN[2]等技术的进步,降低了检测网络的运行时间,暴露了region proposal计算的瓶颈。在这...原创 2019-04-08 22:15:56 · 980 阅读 · 0 评论 -
(40)[ICCV15] Fast R-CNN
计划完成深度学习入门的126篇论文第四十篇,微软的Ross Girshick研究的Obeject Detection的模型。[github]Abstract提出了一种基于区域卷积网络的快速目标检测方法(Fast R-CNN)。Fast R-CNN建立在以前工作的基础上,使用深度卷积网络有效地分类object proposals。与之前的工作相比,Fast R-CNN在提高训练和测试速度的同...原创 2019-04-08 00:00:55 · 670 阅读 · 0 评论 -
Generative Adversarial Networks[论文合集]
https://handong1587.github.io/deep_learning/2015/10/09/gan.htmlJump to... 1.Image-to-Image Translation 1.Pix2Pix 2.Projects 3.Blogs 4.Talks / Videos 5.Resou...转载 2019-04-07 11:22:47 · 7202 阅读 · 0 评论 -
Natural Language Processing[论文合集]
https://handong1587.github.io/deep_learning/2015/10/09/nlp.htmlJump to... 1.Tutorials 2. Neural Models 3. Sequence to Sequence Learning 4. Translation 5. Summariza...转载 2019-04-07 11:21:53 · 6362 阅读 · 0 评论 -
(27)[ICML15] A Neural Conversational Model
计划完成深度学习入门的126篇论文第二十七篇,Google的Oriol及Quoc V.Le领导研究的chatbox S2S。ABSTRACT&INTRODUCTION摘要会话建模是自然语言理解和机器智能研究中的一个重要课题。尽管存在以前的方法,但它们通常限于特定的域(例如,预订机票),并且需要手工制定规则。在本文中,我们提出了一个简单的方法来完成这一任务,它使用了最近提出的序列...原创 2019-03-24 16:11:18 · 673 阅读 · 0 评论 -
(26)[ICLR15] NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE
计划完成深度学习入门的126篇论文第二十六篇,蒙特利尔大学的KyungHyun Cho和Yoshua Bengio领导研究的新的机器翻译的方法JOINTLY LEARNING TO ALIGN AND TRANSLATE。ABSTRACT&INTRODUCTION摘要神经机器翻译是近年来提出的一种机器翻译方法。与传统的统计机器翻译不同,神经机器翻译的目的是建立一个单一的神经网络...原创 2019-03-22 19:17:29 · 1262 阅读 · 0 评论 -
(25)[NIPS14] Sequence to Sequence Learning with Neural Networks
计划完成深度学习入门的126篇论文第二十五篇,Google的Ilya Sutskever领导研究一种S2S的end to end学习方法。ABSTRACT&INTRODUCTION摘要深度神经网络(DNNs)是一种功能强大的模型,在困难的学习任务中取得了优异的性能。尽管DNNs在有大量标记训练集的情况下工作良好,但它们不能用于将序列映射到序列。在本文中,我们提出了一种对序列结构...原创 2019-03-22 14:19:12 · 1076 阅读 · 0 评论 -
(13)[ICLR16] Net2Net: ACCELERATING LEARNING VIA KNOWLEDGE TRANSFER
计划完成深度学习入门的126篇论文第十三篇,UW的陈天奇和Goodfellow合著针对知识迁移的加速学习Net2Net。ABSTRACT&INTRODUCTION摘要我们介绍了将存储在一个神经网络中的信息快速传输到另一个神经网络的技术。主要目的是加速训练一个更大的神经网络。在实际的工作流程中,人们经常在实验和设计过程中训练许多不同的神经网络。每个新模型都是从零开始训练的,所以这...原创 2019-03-08 14:38:58 · 1938 阅读 · 0 评论 -
(12)[arXiv16] Layer Normalization
计划完成深度学习入门的126篇论文第十二篇,多伦多大学的Hinton针对RNN等模型研究了对于Batch Norm的变种Layer Normalization。本篇论文一作Jimmy Lei Ba同时也是Adam的作者。ABSTRACT&INTRODUCTION摘要训练最先进的深层神经网络在计算上是昂贵的。减少训练时间的一种方法是使神经元的活动正常化。最近引入的一种称为批处...原创 2019-03-05 18:06:24 · 1370 阅读 · 0 评论 -
(11)[ICML15] Batch Norm: Accelerating Deep Network Training by Reducing Internal Covariate Shift
计划完成深度学习入门的126篇论文第十一篇,Google的Ioffe和Szegedy使用一种新的regularization方法或者说是新的initialization的方法Batch Normalization。ABSTRACT&INTRODUCTION摘要由于训练过程中各层输入的分布随前一层参数的变化而变化,使得深度神经网络的训练变得复杂。这需要较低的学习率和谨慎的参数初始...原创 2019-03-05 13:36:27 · 604 阅读 · 0 评论 -
(10) [JMLR14] Dropout: A Simple Way to Prevent Neural Networks from Overfitting
计划完成深度学习入门的126篇论文第十篇,多伦多大学的Geoffrey Hinton·和Alex Krizhevsky使用一种新的regularization方法Dropout。ABSTRACT&INTRODUCTION摘要具有大量参数的深度神经网络是非常强大的机器学习系统。然而,在这样的网络中,过拟合是一个严重的问题。大型网络的使用也很缓慢,通过在测试时结合许多不同的大型神经...原创 2019-03-05 13:13:48 · 1521 阅读 · 0 评论 -
(9) [CS15] Fast and Accurate Recurrent Neural Network Acoustic Models for Speech Recognition
计划完成深度学习入门的126篇论文第九篇,Google的Has¸im Sak使用RNN用在Acoustic Models for Speech Recognition方向上的论文。ABSTRACT&INTRODUCTION摘要最近我们发现,作为语音识别的声学模型,深度长短期记忆(LSTM)递归神经网络(RNNs)优于前馈深度神经网络(DNNs)。近年来,我们发现使用这种LSTM...原创 2019-03-04 22:12:07 · 840 阅读 · 3 评论 -
(6) [IEEESignal12] Deep neural networks for acoustic modeling in speech recognition
计划完成深度学习入门的126篇论文第六篇,多伦多大学的Geoffrey在Signal方向发表的论文,引用量超过6000+,是深度学习在speech recognition的开山之作。原创 2019-02-25 13:56:00 · 1664 阅读 · 1 评论 -
深度学习论文
一、ImageNet Evolution以下五篇论文是深度学习的破冰著作,见证了卷积神经网络越来越深,效果越来越好,其中ResNet更是在原始网络结构上有了新的突破~~[Nature15] Deep Learning:摘自Yann LeCun和Youshua Bengio以及GeoffreyHinton三人合著发表在nature2015的论文[NeurIPS12] ImageNet ...原创 2019-02-24 19:13:52 · 11334 阅读 · 6 评论 -
(5) [CVPR15] Deep residual learning for image recognition
计划完成深度学习入门的126篇论文第五篇,来自MSRA的何凯明在ILSVRC15比赛上取得冠军后的论文,也是大名鼎鼎的RestNet,发表在CVPR15并当选Best paper。摘要Abstract 我们提出了一个residual learning framework来简化网络的训练,这些网络比以前使用的要深得多。我们显式地将层重新表示为根据层输入学习residual fun...原创 2019-02-24 18:10:00 · 6494 阅读 · 0 评论 -
(4) [CVPR15] Going deeper with convolutions
计划完成深度学习入门的126篇论文第四篇,来自Google的科研人员在ILSVRC14比赛上取得冠军后的论文,发表在CVPR15上。为致敬LeNet,网络取名为GoogLeNet。Tips:谷歌的中国学者贾扬清也是作者之一摘要Abstract 在2014年ImageNet大规模视觉识别挑战中,我们提出了一种代号为Inception的深度卷积神经网络架构,实现了分类和检测的新...原创 2019-02-24 14:35:23 · 815 阅读 · 0 评论 -
(3) [ICLR15] Very deep convolutional networks for large-scale image recognition
计划完成深度学习入门的126篇论文第三篇,来自Oxford的Karen Simonyan教授在ILSVRC比赛上取得冠军后的论文,同时也是2015年ICLR上发表的论文。同时作者本人也强调本篇是继12年Deep Convolutional Neural Networks的深入研究。摘要Abstract 在本文中,我们研究了卷积网络深度在大尺度图像识别设置中对其准确率的影响。...原创 2019-02-24 13:51:20 · 6028 阅读 · 0 评论 -
(2) [NeurIPS12] ImageNet Classification with Deep Convolutional Neural Networks
计划完成深度学习入门的126篇论文第二篇,摘自多伦多大学Alex Krizhevskyh和Geoffrey Hinton合著发表在NeurIPS2012的论文,同时也算是2012年ImageNet的冠军得主论文。摘要Abstract论文作者训练了一个大型深度卷积神经网络来对120万的高分别率图片做1000分类,并且优于之前的精度记录。使用了6000万个参数以及65万个神经单元。在前五层神经...原创 2019-02-24 12:27:42 · 1168 阅读 · 0 评论 -
(14)[ICLR16] Network Morphism
计划完成深度学习入门的126篇论文第十四篇,Buffalo大学和MSRA合作研究一个新型的网络,能从父网络中继承知识并且短时间训练成一个更强的网络,称为network morphism。ABSTRACT&INTRODUCTION摘要本文系统地研究了如何将训练有素的神经网络改造成新的神经网络,使其网络功能得到充分的保留。在本研究中,我们将其定义为network morphism。...原创 2019-03-08 16:24:36 · 2708 阅读 · 2 评论