paper_deep_learning
关注
分享
扫一扫
文章平均质量分 92
由浅入深的126篇论文
gdtop818
这个作者很懒，什么都没留下…
展开
-
(42)[ICCV17] Mask R-CNN
计划完成深度学习入门的126篇论文第四十二篇，微软的Ross Girshick研究的Obeject Detection的模型。[github]基础论文：[R-CNN] [Fast R-CNN] [Faster R-CNN]Abstract我们提出了一个概念上简单，灵活和通用的目标分割框架。我们的方法有效地检测图像中的目标，同时为每个实例生成高质量的分割Mask。称为Mask R-CNN...原创 2019-04-08 22:18:52 · 644 阅读 · 0 评论 -
(41)[NIPS15] Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
计划完成深度学习入门的126篇论文第四十一篇，MSRA的Kaiming He及Ross Girshick, 和Jian Sun等完成的对前作Fast R-CNN的改进。[github]Abstract最先进的目标检测网络依赖于区域建议算法来假设目标位置。SPPnet[1]和Fast R-CNN[2]等技术的进步，降低了检测网络的运行时间，暴露了region proposal计算的瓶颈。在这...原创 2019-04-08 22:15:56 · 1026 阅读 · 0 评论 -
(40)[ICCV15] Fast R-CNN
计划完成深度学习入门的126篇论文第四十篇，微软的Ross Girshick研究的Obeject Detection的模型。[github]Abstract提出了一种基于区域卷积网络的快速目标检测方法(Fast R-CNN)。Fast R-CNN建立在以前工作的基础上，使用深度卷积网络有效地分类object proposals。与之前的工作相比，Fast R-CNN在提高训练和测试速度的同...原创 2019-04-08 00:00:55 · 725 阅读 · 0 评论 -
(39)[ECCV14] SPPNet: Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
计划完成深度学习入门的126篇论文第三十九篇，Kaiming he以及孙剑等完成的对VIsual Recognition中Spatial Pyramid Pooling的研究。[github]Abstract现有的深度卷积神经网络(CNNs)需要一个固定大小的输入图像(例如，224 x224)。这种要求是人为的，可能会降低对任意大小/尺度的图像或子图像的识别精度。在这项工作中，我们为网络...原创 2019-04-07 11:16:25 · 1066 阅读 · 0 评论 -
(38)[CVPR14] R-CNN: Rich feature hierarchies for accurate object detection and semantic segmentation
计划完成深度学习入门的126篇论文第三十八篇，Berkeley的Ross Girshick等发表的层级特征feature hierarchies用于object detection和semantic segmentation方向的论文。[github]Abstract在PASCAL VOC标准数据集上测量的目标检测性能在最近几年趋于稳定。性能最好的方法是复杂的集成系统，它通常将多个低层图像...原创 2019-04-06 11:19:23 · 1890 阅读 · 0 评论 -
(37)[NIPS13] Deep Neural Networks for Object Detection
计划完成深度学习入门的126篇论文第三十七篇，Google的Christian Szegedy等发表的在文本分类的Bag技巧的论文。Abstract深度神经网络(DNNs)最近在图像分类任务[14]中表现出了优异的性能。在本文中，我们进一步解决了使用DNNs进行目标检测的问题，即不仅分类而且精确定位各种类的目标。我们提出了一种简单而强大的对象检测公式，将其作为对象边界框Mask的回归问题。...原创 2019-04-05 12:33:20 · 681 阅读 · 0 评论 -
(36)[EACL] Bag of Tricks for Efficient Text Classification
计划完成深度学习入门的126篇论文第三十六篇，FAIR的Tomas Mikolov等发表的在文本分类的Bag技巧的论文。FastText [github]Abstract本文探讨了一种简单有效的文本分类基准。实验表明，我们的快速文本分类器fastText在准确率上与深度学习分类器基本相当，在训练和评价方面，速度提高了许多数量级。使用一个标准的多核CPU，我们可以在不到10分钟的时间内训练快...原创 2019-04-05 10:48:22 · 1051 阅读 · 0 评论 -
(35) [arXiv17] Very Deep Convolutional Networks for Text Classification
计划完成深度学习入门的126篇论文第三十五篇，Yann Le Cun等发表的文本分类的论文。Abstract许多NLP任务的主要方法是递归神经网络，特别是LSTMs和卷积神经网络。然而，与推动计算机视觉发展的深度卷积网络相比，这些架构显得相当肤浅。我们提出了一种新的文本处理体系结构(VDCNN)，它直接在字符级操作，只使用小的卷积和池操作。我们能够表明，该模型的性能随着深度的增加而增加：使...原创 2019-04-05 10:30:57 · 1539 阅读 · 2 评论 -
(34)[NIPS15] Teaching Machines to Read and Comprehend
计划完成深度学习入门的126篇论文第三十四篇，DeepMind的Karl Moritz Hermann等发表的人机问答的论文。Abstract教机器阅读自然语言文档仍然是一个难以捉摸的挑战。机器阅读系统可以通过回答他们所见过的文档内容提出的问题的能力来进行测试，但是到目前为止，这种类型的评估缺少大规模的培训和测试数据集。在这项工作中，我们定义了一种新的方法来解决这个瓶颈，并提供大规模的监督...原创 2019-04-03 16:24:01 · 1076 阅读 · 0 评论 -
(33)[ICLR16] TOWARDS AI-COMPLETE QUESTION ANSWERING: A SET OF PREREQUISITE TOY TASKS
计划完成深度学习入门的126篇论文第三十三篇，FAIR的Tomas Mikolov领导发表的人机问答的论文。ABSTRACT机器学习研究的一个长期目标是产生适用于推理和自然语言的方法，特别是建立一个智能对话代理。为了衡量这一目标的进展，我们主张使用一组代理任务，通过回答问题来评估阅读理解。我们的任务从几个方面来衡量理解:系统是否能够通过链接事实、简单的归纳、推理等回答问题。这些任务被设计为...原创 2019-04-03 13:29:43 · 1776 阅读 · 0 评论 -
(32)[AAAI16] Character-Aware Neural Language Models
计划完成深度学习入门的126篇论文第三十二篇，Harvard的Yoon Kim发表的character级别的语言模型。[github]Abstract我们描述了一个简单的神经语言模型，它只依赖于字符级的输入。预测仍然是在文字层面进行的。该模型采用卷积神经网络(CNN)和highway network对字符进行处理，输出为长短时记忆(LSTM)递归神经网络语言模型(RNN-LM)。在Penn...原创 2019-04-03 12:57:46 · 874 阅读 · 0 评论 -
(31)[JMLR16] Ask Me Anything: Dynamic Memory Networks for Natural Language Processing
计划完成深度学习入门的126篇论文第三十一篇，CA的Richard Socher发表的人机问答的论文。ABSTRACT&INTRODUCTION摘要自然语言处理中的大多数任务都可以通过语言输入转换成问答(QA)问题。我们介绍了动态记忆网络(DMN)，这是一种神经网络结构，它处理输入序列和问题，形成情景记忆，并生成相关的答案。问题触发了一个迭代注意过程，该过程允许模型将其注意条件...原创 2019-03-31 17:34:37 · 1191 阅读 · 1 评论 -
(30)[ICLR13] Efficient Estimation of Word Representations in Vector Space
计划完成深度学习入门的126篇论文第三十篇，Google的Jeffrey Dean、Greg Corrado、Tomas Mikolov发表的第一排word2vec论文，引用高达10000次，同时也是CS224nLecture1的推荐readings。源码ABSTRACT&INTRODUCTION摘要我们提出了两种新的模型结构，用于从非常大的数据集计算单词的连续向量表示。这些表...原创 2019-03-31 16:27:46 · 1104 阅读 · 0 评论 -
(29)[NIPs13] Distributed Representations of Words and Phrases and their Compositionality
计划完成深度学习入门的126篇论文第二十九篇，Google的Jeffrey Dean、Greg Corrado、Tomas Mikolov及Ilya Sutskeve发表的word2vec论文，引用高达12000次，同时也是CS224nLecture1的推荐readings。ABSTRACT&INTRODUCTION摘要最近引入的Skip-gram模型是一种高效的学习高质量分布...原创 2019-03-31 15:49:16 · 1457 阅读 · 1 评论 -
(28)[AISTATS15] Joint Learning of Words and Meaning Representations for Open-Text Semantic Parsing
计划完成深度学习入门的126篇论文第二十八篇，蒙特利尔大学的Bengio领导关于Joint Learning用于Open-Text研究语义分析及意义表示的论文。ABSTRACT&INTRODUCTION摘要Open-text语义分析器(semantic parsers)的目的是通过推断相应的语义表示(meaning representation)来解释自然语言中的任何语句。不幸...原创 2019-03-27 13:04:07 · 1336 阅读 · 0 评论 -
(27)[ICML15] A Neural Conversational Model
计划完成深度学习入门的126篇论文第二十七篇，Google的Oriol及Quoc V.Le领导研究的chatbox S2S。ABSTRACT&INTRODUCTION摘要会话建模是自然语言理解和机器智能研究中的一个重要课题。尽管存在以前的方法，但它们通常限于特定的域(例如，预订机票)，并且需要手工制定规则。在本文中，我们提出了一个简单的方法来完成这一任务，它使用了最近提出的序列...原创 2019-03-24 16:11:18 · 714 阅读 · 0 评论 -
(26)[ICLR15] NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE
计划完成深度学习入门的126篇论文第二十六篇，蒙特利尔大学的KyungHyun Cho和Yoshua Bengio领导研究的新的机器翻译的方法JOINTLY LEARNING TO ALIGN AND TRANSLATE。ABSTRACT&INTRODUCTION摘要神经机器翻译是近年来提出的一种机器翻译方法。与传统的统计机器翻译不同，神经机器翻译的目的是建立一个单一的神经网络...原创 2019-03-22 19:17:29 · 1368 阅读 · 0 评论 -
(25)[NIPS14] Sequence to Sequence Learning with Neural Networks
计划完成深度学习入门的126篇论文第二十五篇，Google的Ilya Sutskever领导研究一种S2S的end to end学习方法。ABSTRACT&INTRODUCTION摘要深度神经网络(DNNs)是一种功能强大的模型，在困难的学习任务中取得了优异的性能。尽管DNNs在有大量标记训练集的情况下工作良好，但它们不能用于将序列映射到序列。在本文中，我们提出了一种对序列结构...原创 2019-03-22 14:19:12 · 1132 阅读 · 0 评论 -
(24) GRU & S2S：Learning Phrase Representations using RNN Encoder–Decoder for SMT
计划完成深度学习入门的126篇论文第二十四篇，蒙特利尔大学的Yoshua Bengio领导的第一篇使用S2S架构并应用在Statistical Machine Translation的论文。ABSTRACT&INTRODUCTION摘要本文提出了一种新的神经网络模型RNN Encoder–Decoder，该模型由两个RNN组成。一个RNN将符号序列编码为定长向量表示，另一个RN...原创 2019-03-22 10:40:46 · 888 阅读 · 0 评论 -
(23)[CS13] LSTM Generating：Generating Sequences With Recurrent Neural Networks
计划完成深度学习入门的126篇论文第二十三篇，UT的Alex Graves等领导研究通过LSTM来生成不同风格的文本和手写体handwriting。ABSTRACT&INTRODUCTION摘要本文通过对一个数据点的预测，说明了LSTM怎样生成具有长期结构的复杂序列。该方法适用于文本(数据是离散的)和在线手写(数据是实值的)。然后，它被扩展到手写合成，通过允许网络对文本序列的预...原创 2019-03-22 09:35:04 · 2801 阅读 · 0 评论 -
(22)[NIPS16] PixelCNN：Conditional Image Generation with PixelCNN Decoders
计划完成深度学习入门的126篇论文第二十一篇，DeepMind的Alex Graves等领导研究一种新的生成Image模型。ABSTRACT&INTRODUCTION摘要本工作探索了基于PixelCNN结构的条件图像生成新图像密度模型。该模型可以以任何向量为条件，包括描述性标签或标记，或由其他网络创建的潜在嵌入。当以ImageNet数据库中的类标签为条件时，该模型能够生成代表不...原创 2019-03-21 23:58:55 · 3949 阅读 · 5 评论 -
(21)[ICML16] PixelRNN：Pixel Recurrent Neural Networks
计划完成深度学习入门的126篇论文第二十一篇，DeepMind研究一种新的生成模型。ABSTRACT&INTRODUCTION摘要自然图像的分布建模是无监督学习中的一个标志性问题。该任务需要一个同时具有表现力、可处理性和可伸缩性的图像模型。我们提出了一种深度神经网络，它能在两个空间维度上连续预测图像中的像素。我们的方法对原始像素值的离散概率建模，并对图像中的完整依赖关系进行编码...原创 2019-03-21 22:18:50 · 4015 阅读 · 0 评论 -
(19)[NIPS14] Generative adversarial nets (20)[ICLR16]Unsupervised representation learning with DCGAN
计划完成深度学习入门的126篇论文第十九和第二十篇，Ian GoodFellowy与Yoshua Bengio在2014年在生成模型的重大突破。GAN专栏：paper_GANUnsupervised representation learning with DCGAN：DCGAN...原创 2019-03-21 21:18:51 · 250 阅读 · 0 评论 -
(17)[NIPS16] ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION
计划完成深度学习入门的126篇论文第十七篇，Oxford和DeepMind合作研究一种学习梯度下降的内在的方式。ABSTRACT&INTRODUCTION摘要在机器学习中，从手工设计的特征到学习特征的转变取得了巨大的成功。尽管如此，优化算法仍然是手工设计的。在本文中，我们展示了如何将优化算法的设计转换为一个学习问题，使算法能够自动地在感兴趣的问题中利用结构。我们所学习的算法，由...原创 2019-03-21 20:32:13 · 5794 阅读 · 0 评论 -
(18)[ICML12] Building High-level Features Using Large Scale Unsupervised Learning
计划完成深度学习入门的126篇论文第十八篇，Andrew Y. Ng和Jeff Dean合作研究使用大量数据模型的无监督学习方式。ABSTRACT&INTRODUCTION摘要我们考虑仅从未标记的数据构建高级的、特定于类的特征检测器的问题。例如，是否可以只使用未标记的图像来学习人脸检测器？为了解决这个问题，我们训练了一个9层局部连接的稀疏自动编码器，它具有对一个大的图像数据集(...原创 2019-03-21 21:09:43 · 981 阅读 · 0 评论 -
(16)[ICLR15] ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION
计划完成深度学习入门的126篇论文第十六篇，多伦多大学Jimmy Lei Ba和OpenAI的Ilya Diederik P. Kingma合作研究一种在梯度下降过程中优化下降迭代速度的方式，结合AdaGradRMSProp，和属于AdaptiveLearning的一种。关联：Momentum，AdaGrad，RMSProp，Adabound。ABSTRACT&INTRODUCTION...原创 2019-03-13 13:27:25 · 3657 阅读 · 0 评论 -
(15)[ICML13] Momentum: On the importance of initialization and momentum in deep learning
计划完成深度学习入门的126篇论文第十五篇，多伦多大学和Google的Ilya Sutskever合作研究一种在梯度下降过程中优化下降迭代速度的方式，属于AdaptiveLearning的一种。关联：Adam，AdaGrad，RMSProp，Adabound。ABSTRACT&INTRODUCTION摘要深度神经网络(DNNs)和递归神经网络(RNNs)是一种强大的神经网络模型...原创 2019-03-13 12:34:16 · 2108 阅读 · 1 评论 -
(14)[ICLR16] Network Morphism
计划完成深度学习入门的126篇论文第十四篇，Buffalo大学和MSRA合作研究一个新型的网络，能从父网络中继承知识并且短时间训练成一个更强的网络，称为network morphism。ABSTRACT&INTRODUCTION摘要本文系统地研究了如何将训练有素的神经网络改造成新的神经网络，使其网络功能得到充分的保留。在本研究中，我们将其定义为network morphism。...原创 2019-03-08 16:24:36 · 2777 阅读 · 2 评论 -
(13)[ICLR16] Net2Net: ACCELERATING LEARNING VIA KNOWLEDGE TRANSFER
计划完成深度学习入门的126篇论文第十三篇，UW的陈天奇和Goodfellow合著针对知识迁移的加速学习Net2Net。ABSTRACT&INTRODUCTION摘要我们介绍了将存储在一个神经网络中的信息快速传输到另一个神经网络的技术。主要目的是加速训练一个更大的神经网络。在实际的工作流程中，人们经常在实验和设计过程中训练许多不同的神经网络。每个新模型都是从零开始训练的，所以这...原创 2019-03-08 14:38:58 · 1990 阅读 · 0 评论 -
(12)[arXiv16] Layer Normalization
计划完成深度学习入门的126篇论文第十二篇，多伦多大学的Hinton针对RNN等模型研究了对于Batch Norm的变种Layer Normalization。本篇论文一作Jimmy Lei Ba同时也是Adam的作者。ABSTRACT&INTRODUCTION摘要训练最先进的深层神经网络在计算上是昂贵的。减少训练时间的一种方法是使神经元的活动正常化。最近引入的一种称为批处...原创 2019-03-05 18:06:24 · 1417 阅读 · 0 评论 -
(11)[ICML15] Batch Norm: Accelerating Deep Network Training by Reducing Internal Covariate Shift
计划完成深度学习入门的126篇论文第十一篇，Google的Ioffe和Szegedy使用一种新的regularization方法或者说是新的initialization的方法Batch Normalization。ABSTRACT&INTRODUCTION摘要由于训练过程中各层输入的分布随前一层参数的变化而变化，使得深度神经网络的训练变得复杂。这需要较低的学习率和谨慎的参数初始...原创 2019-03-05 13:36:27 · 628 阅读 · 0 评论 -
(10) [JMLR14] Dropout: A Simple Way to Prevent Neural Networks from Overfitting
计划完成深度学习入门的126篇论文第十篇，多伦多大学的Geoffrey Hinton·和Alex Krizhevsky使用一种新的regularization方法Dropout。ABSTRACT&INTRODUCTION摘要具有大量参数的深度神经网络是非常强大的机器学习系统。然而，在这样的网络中，过拟合是一个严重的问题。大型网络的使用也很缓慢，通过在测试时结合许多不同的大型神经...原创 2019-03-05 13:13:48 · 1557 阅读 · 0 评论 -
(9) [CS15] Fast and Accurate Recurrent Neural Network Acoustic Models for Speech Recognition
计划完成深度学习入门的126篇论文第九篇，Google的Has¸im Sak使用RNN用在Acoustic Models for Speech Recognition方向上的论文。ABSTRACT&INTRODUCTION摘要最近我们发现，作为语音识别的声学模型，深度长短期记忆(LSTM)递归神经网络(RNNs)优于前馈深度神经网络(DNNs)。近年来，我们发现使用这种LSTM...原创 2019-03-04 22:12:07 · 878 阅读 · 3 评论 -
(8) [ICML14] Towards End-to-End Speech Recognition with Recurrent Neural Networks
计划完成深度学习入门的126篇论文第八篇，多伦多大学的Alex Gravesz在End-to-End Deep RNN在Speech Recognition方向上的论文续作。ABSTRACT&INTRODUCTION摘要本文提出了一种语音识别系统，该系统不需要中间语音表示，直接用文本对音频数据进行转录。该系统是基于深度双向LSTM递归神经网络结构和连接主义者的时间分类目标函数相...原创 2019-03-04 19:15:35 · 2185 阅读 · 4 评论 -
(7) [IEEEAcoustic13] SPEECH RECOGNITION WITH DEEP RECURRENT NEURAL NETWORKS
计划完成深度学习入门的126篇论文第七篇，多伦多大学的Geoffrey和Alex Graves发表关于End-to-End Deep RNN在Speech Recognition方向上的论文。ABSTRACT&INTRODUCTION摘要Recurrent neural networks(RNNs)是一种强大的序列数据模型。端到端训练方法，如Connectionist Temp...原创 2019-03-04 16:03:03 · 2974 阅读 · 4 评论 -
深度学习论文
一、ImageNet Evolution以下五篇论文是深度学习的破冰著作，见证了卷积神经网络越来越深，效果越来越好，其中ResNet更是在原始网络结构上有了新的突破~~[Nature15] Deep Learning：摘自Yann LeCun和Youshua Bengio以及GeoffreyHinton三人合著发表在nature2015的论文[NeurIPS12] ImageNet ...原创 2019-02-24 19:13:52 · 11447 阅读 · 6 评论 -
(6) [IEEESignal12] Deep neural networks for acoustic modeling in speech recognition
计划完成深度学习入门的126篇论文第六篇，多伦多大学的Geoffrey在Signal方向发表的论文，引用量超过6000+，是深度学习在speech recognition的开山之作。原创 2019-02-25 13:56:00 · 1701 阅读 · 1 评论 -
(5) [CVPR15] Deep residual learning for image recognition
计划完成深度学习入门的126篇论文第五篇，来自MSRA的何凯明在ILSVRC15比赛上取得冠军后的论文，也是大名鼎鼎的RestNet，发表在CVPR15并当选Best paper。摘要Abstract 我们提出了一个residual learning framework来简化网络的训练，这些网络比以前使用的要深得多。我们显式地将层重新表示为根据层输入学习residual fun...原创 2019-02-24 18:10:00 · 6525 阅读 · 0 评论 -
(4) [CVPR15] Going deeper with convolutions
计划完成深度学习入门的126篇论文第四篇，来自Google的科研人员在ILSVRC14比赛上取得冠军后的论文，发表在CVPR15上。为致敬LeNet，网络取名为GoogLeNet。Tips：谷歌的中国学者贾扬清也是作者之一摘要Abstract 在2014年ImageNet大规模视觉识别挑战中，我们提出了一种代号为Inception的深度卷积神经网络架构，实现了分类和检测的新...原创 2019-02-24 14:35:23 · 864 阅读 · 0 评论 -
(3) [ICLR15] Very deep convolutional networks for large-scale image recognition
计划完成深度学习入门的126篇论文第三篇，来自Oxford的Karen Simonyan教授在ILSVRC比赛上取得冠军后的论文，同时也是2015年ICLR上发表的论文。同时作者本人也强调本篇是继12年Deep Convolutional Neural Networks的深入研究。摘要Abstract 在本文中，我们研究了卷积网络深度在大尺度图像识别设置中对其准确率的影响。...原创 2019-02-24 13:51:20 · 6079 阅读 · 0 评论