乱指的指针

Character-level Convolutional Networks for Text Classification概述：验证使用字符级的CNN进行文本分类任务的可能性笔记：1.文本分类是个nlp经典问题，从人工标注特征到选择最好的机器学习分类器，目前，几乎所有的文本分类都是基于词的（截止2016年4月）。2.后来人们发现cnn对于原始数据提取特征很有用，就从cv到语音...

《Attention Is All You Need》概述：谷歌的transformer结构，17年6月，单模型在机器翻译领域就能吊打所有模型或者组合模型。笔记：1.循环神经网络+attention机制，无法满足并行计算要求。2.transformer将词语词之间注意力的计算降低至常数复杂度，虽然这种平均注意力权重位置的做法削弱了有效的resolution（这玩意到底是啥），但是多头机制...

《Convolutional Neural Networks for Sentence Classification》概述：使用基于word2vec的单层CNN，对多个文本分类任务进行了评测。结论：1.word2vec是个好东西。使用pre-training训练的资源成为nlp不可或缺的一部分。2.Dropout可以提高2%-4%的相对性能。3.多通道的CNN相对于Stat...