卷积神经网络-CNN
文章平均质量分 83
liuchongee
这个作者很懒,什么都没留下…
展开
-
斯坦福CS231n 课程学习笔记--线性分类器(Assignment1代码实现)
最近学习了斯坦福的CS231n(winter 2016)系列课程,收获很大,作为深度学习以及卷积神经网络学习的入门很是完美。学习过程中,主要参考了知乎上几位同学的课程翻译,做得很好,在这里也对他们表示感谢,跟课程相关的很多资源都可以在该专栏中找到。推荐大家把每个笔记的翻译都完整的看一下。关于该课程视频的中文字幕也在翻译进行中,目前第一集已经翻译完成,感兴趣的同学可以也可以看看参与进去。此外,完成课程原创 2016-09-25 12:15:21 · 3344 阅读 · 2 评论 -
深度学习与文本分类总结第一篇--常用模型总结
前面一段时间一直忙着参加知乎看山杯机器学习挑战赛,现在比赛结束了想着总结一下最近的收获。因为这是一个多标签多类别的文本分类问题,而且题目非常适合用深度学习相关的知识去做,正好结合着这个竞赛把之前一段时间的学习成果检验一下。接下来我会分成常用模型总结、多标签/多类别专题、竞赛实战三部分进行介绍。 首先我们先来总结一下文本分类中常用的几个深度学习模型,这里可以参考brightsmart大神在githu原创 2017-08-16 22:18:27 · 17937 阅读 · 3 评论 -
文本分类实战--从TFIDF到深度学习(附代码)
这几周因为在做竞赛所以没怎么看论文刷题写博客,今天抽时间把竞赛用到的东西总结一下。先试水了一个很小众的比赛–文因互联,由AI100举办,参赛队不足20个,赛题类型是文本分类。选择参赛的主要原因是其不像阿里们举办的竞赛那样,分分钟就干一件事就是特征工程和调参,然后数据又多又乱,不适合入门。其次一个原因就是目前我的研究方向就是NLP,之前也做过一个文本分类的东西,所以就参赛了。这里将主要介绍我在比赛中用原创 2017-05-21 21:55:45 · 58391 阅读 · 31 评论 -
CNN在句子相似性建模的应用--tensorflow实现篇1
经过上周不懈的努力,终于把“Multi-Perspective Sentence Similarity Modeling with Convolution Neural Networks”这篇论文用tensorflow大致实现出来了,代码后续回放到我的github上面。踩了很多坑,其实现在也还有一些小的问题没有搞明白和解决,但是也算自己实现了第一个完整的Tensorflow程序,至于剩下的一些小问题原创 2017-03-20 21:38:17 · 6866 阅读 · 9 评论 -
Language Modeling with Gated Convolutional Networks(句子建模之门控CNN)--Tensorflow实现篇
由于本篇论文所实现的任务十分耗时,我的小笔记本根本无法承受其计算量,而且他不像之前实现的模型都有明确的评价指标,所以并未亲自实现。在github上面找到了一个简化版的实现代码,该代码中在数据处理、模型评价等方面做了如下简化:Replace NCE loss with Adaptive Softmax.Remove restricted training on fixed sized senten原创 2017-04-20 10:19:45 · 4996 阅读 · 1 评论 -
字符级卷积神经网络(Char-CNN)实现文本分类--模型介绍与TensorFlow实现
本篇博客主要用于记录“Character-level Convolutional Networks for Text Classification”论文的模型架构和仿真实现方法。这是一篇2016年4月份刚发的文章,在此之前,原作者还发表过一篇“Text Understanding from Scratch”的论文,两篇论文基本上是一样的,不同之处在于后者从写了Introduction部分,然后又补充原创 2017-04-29 14:51:39 · 42265 阅读 · 40 评论 -
Language Modeling with Gated Convolutional Networks(句子建模之门控CNN)--模型简介篇
最近忙着实验室的项目,一直没有时间做仿真,所以就先写一下之前看的一篇文章,总结一下吧。这次要说的是Gated CNN,这也是第一次将门限控制引入到CNN中的文章,感觉十分有新意,效果也很棒。下面我们来看一下,文章的主要贡献包括:提出一种新的门控机制缓解梯度传播,降低梯度弥散等现象相比LSTM,模型更加简单,收敛速度更快 模型的结构图如下所示: 首先我们可以通过堆叠CNN来标识长文本,提原创 2017-04-19 11:17:01 · 15788 阅读 · 6 评论 -
CNN在句子相似性建模的应用--模型介绍篇
最近在读“Multi-Perspective Sentence Similarity Modeling with Convolution Neural Networks”这篇论文,该文通过CNN层对两个句子分别进行建模,然后添加一个句子相似性测量层来计算两个句子的相似度。首先可以看一下其模型的架构图方便有一个直观的理解: 可以看到一个句子首先被转化为嵌入矩阵[sentence_length,原创 2017-03-16 15:53:51 · 7323 阅读 · 1 评论 -
论文Convolutional Naural Networks for Sentence Classification--模型介绍篇
最近读了Yoon Kim发表的Convolutional Naural Networks for Sentence Classification一文。这是一篇将CNN和NLP结合的文章,接下来我们会分模型介绍和代码实现两部分来介绍该论文。论文所提出的模型结构如下图所示: 1,这里的输入层显示有两个channel,其实我们可以看作是一个,因为后文中说到这两个channel分别是static和no原创 2017-03-04 15:45:17 · 6561 阅读 · 11 评论 -
CNN在句子相似性建模的应用续--基于attention的多角度CNN模型
今天我们来介绍一下“UMD-TTIC-UW at SemEval-2016 Task 1: Attention-Based Multi-Perspective Convolutional Neural Networks for Textual Similarity Measurement”这篇论文。其实本篇论文和之前所说的Multi-Perspective CNN原理是一样的。只不过做了一些小原创 2017-03-24 14:17:43 · 8831 阅读 · 8 评论 -
论文Convolutional Naural Networks for Sentence Classification--TensorFlow实现篇
其实该论文作者已经将文章代码提供了出来,该代码用的是Theano实现的,但是因为最近看了TensorFlow,所以想着用用练练手,所以本文主要参考Denny Britz的一篇博文 来实现CNN和本篇论文,其代码也上传到了github上。说到Denny Britz,大神就是大神,之前也读过他一篇介绍CNN在NLP领域应用场景和方法的文章,写的很透彻也被很多国内网友翻译和转载,他的博客上有很多好的文章,原创 2017-03-04 20:57:36 · 9223 阅读 · 11 评论 -
ABCNN基于注意力的卷积神经网络用于句子建模--模型介绍篇
本文是Wenpeng Yin写的论文“ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs”的阅读笔记。其实该作者之前还发过一篇“Convolution Neural Network for Paraphrase Identification”。ABCNN是基于之前发的这篇论文加入了注意力机制。原创 2017-04-07 19:51:41 · 17062 阅读 · 4 评论 -
CNN与句子分类之动态池化方法DCNN--TensorFlow实现篇
本文是paper“A Convolutional Neural Network for Modelling Sentences”基于TensorFlow的实现方法,代码和数据集都可以到我的github上面进行下载。数据集及处理方法本文仿真的是论文的第二个实验,使用的数据集是TREC。该数据集是QA领域用于分类问题类型的。其中问题主要分为6大类别,比如地理位置、人、数学信息等等,这里使用one-hot原创 2017-03-29 16:34:29 · 8394 阅读 · 10 评论 -
CNN与句子分类之动态池化方法DCNN--模型介绍篇
本文是针对“A Convolutional Neural Network for Modelling Sentences”论文的阅读笔记和代码实现。这片论文的主要贡献在于其提出了一种动态pooling的方法。传统卷积神经网络中所用到的pooling方法一般是max-pooling,且pooling的size是固定不变的。本文通过k-max-pooling的方法可以在高层获取句子中位置较远的词语之间的原创 2017-03-28 17:44:35 · 11730 阅读 · 0 评论 -
CNN用于句子分类时的超参数分析
本文是“A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification”这篇paper的阅读笔记。这篇paper的主要工作是对“Convolutional Naural Networks for Sentence Classificati原创 2017-03-27 22:29:48 · 4151 阅读 · 0 评论 -
斯坦福CS231n 课程学习笔记--线性分类器(笔记篇)
最近学习了斯坦福的CS231n(winter 2016)系列课程,收获很大,作为深度学习以及卷积神经网络学习的入门很是完美。学习过程中,主要参考了知乎上几位同学的课程翻译,做得很好,在这里也对他们表示感谢,跟课程相关的很多资源都可以在该专栏中找到。推荐大家把每个笔记的翻译都完整的看一下。关于该课程视频的中文字幕也在翻译进行中,目前第一集已经翻译完成,感兴趣的同学可以也可以看看参与进去。此外,完成课程原创 2016-09-23 20:04:44 · 4366 阅读 · 2 评论 -
CNN在句子相似性建模的应用--tensorflow实现篇2
上节已经介绍了数据预处理部分代码,本节则详细介绍一下模型构建和训练部分。旨在以一个新手的角度出发,详细介绍一下tf中不同类型cnn的使用方法以及其中tensor的shape变化,来感受一下其运行过程的细节。代码可以在我的github上下载模型初始化首先我们介绍一下模型构建部分。这部分代码全部写在model.py文件中。为了方便调用,我们写了一个MPCNN_Layer类来实现整个论文模型的构建。首先是原创 2017-03-21 15:55:55 · 7984 阅读 · 12 评论