2018年01月_小妖精Fsky

原创 From Softmax to Sparsemax: A Sparse Model of Attention and Multi-Label Classification

这篇文章都看两遍啦，太忙没空更，待我找个时间

2018-01-29 17:15:36 2101 2

原创 [COLING2016]Attention-Based Convolutional Neural Network for Semantic Relation Extraction

明天更

2018-01-26 17:10:30 1200

原创 [ACL2016]Neural Relation Extraction with Selective Attention over Instances

这篇文章讲解的是distant supervised的relation extraction, 利用了multi-instance的做法进行关系抽取，首先将包里的每个句子进行sentence embedding, 这里用到了［distant supervision for Relation Extraction via Piecewise Convolutional Neural Networks

2018-01-26 11:04:24 715

原创 BatchNormalization在各神经网络中的应用

因为之前用CNN中用BatchNorm中用错了位置，所以特意记录以免再次犯错 1. BatchNorm在CNN中的应用(第（１）种正确) 我个人偏向第一种可能，因为在fully connection中batch normalization应用在了激活函数之前（１）先卷积，再batchnorm, 然后激活函数，最后pooling https://github.com/PadamS

2018-01-25 21:07:42 6881 15

原创 [EMNLP2017]Deep Residual Learning for Weakly-Supervised Relation Extraction

shortcut connections:没有引入额外的参数和计算复杂度

2018-01-25 11:48:41 1403

原创关于CNN的小知识

CNN知识１：什么是卷积？什么是池化： https://blog.csdn.net/myboyliu2007/article/details/51535679 CNN知识２：宽卷积：句子长度为Ｓ，kernel的大小是Ｋ，则卷积后的长度是S+K-1, 其实是句子的前后各padding了（k-1）个零窄卷积：句子没有进行pad, 卷积后的长度是S-K+1 CNN只是２: pyto...

2018-01-22 11:28:56 538

转载 Scheduled Sampling：RNN的训练trick

RNN的训练和测试过程其实存在不统一的地方：训练时，每生成一个词时，所利用到的“前一个词”都是准确的；测试时，所有的词都是模型生成的，这就带来了训练和测试的不统一。Scheduled Sampling是指RNN训练时会随机使用模型真实输出来作为下一个时刻的输入，而不像原先那样只会使用期望输出（label）。 http://www.bubuko.com/infodetail-2091495.htm

2018-01-16 15:41:37 7334

原创 A Gap-Based Framework for Chinese Word Segmentation via Very Deep Convolutional Network

说是中文分词的新框架，中午饭后更

2018-01-13 10:54:57 494

原创 [EMNLP2017]Incorporating Relation Paths in Neural Relation Extraction

因为对其目标函数有疑问，所以暂时先更新到这儿，确定后续后再更

2018-01-10 10:26:37 671 1

原创 [EMNLP2017]Global Normalization of Convolutional Neural Networks for Joint Entity and Relation

每次输入的一对实体，输出就是两个实体的类型以及两个实体的关系．不能称之为全局优化的的方法，全局的优化可以借鉴＜End-to-End Neural Relation Extraction with Global Optimization＞

2018-01-09 09:24:21 1269 6

原创 [CONLL2017] Learning local and global contexts using a convolutional recurrent network model

CNN的优点：　can effectively identify coarse-grained local features in a sentence RNN的优点：　are more suited for long-term dependencies(其实是考虑了当前词的上下文)

2018-01-08 11:38:05 350

原创关于attention的一点小认知

很久之前就看过attention的相关知识，只是没有动手实践，所以很多小细节没有考虑到．（１）sequence-to-sequence model中，在解码的第一步S0_0是如何计算的就晕了好一阵，下面的图给出了解释 http://blog.csdn.net/xbinworld/article/details/54607525 (2)self-attention的两种计算方式

2018-01-06 21:01:21 1148

原创 [EMNLP2015]Distant supervision for Relation Extraction via Piecewise Convolutional Neural Networks

paper中提高两个概念： (1)distant supervision: 如果两个实体在已知知识库中有关系，则包含这两个实体的中，两个实体的的关系默认就是知识库中给定的关系, 因为人工标注语料代价大，所以一般用distant supervision标注语料 (2)multi-instance learning:训练语料是很多带有正负标签的包，每个包里有很多示例，如果一个包里包含至少一个示例是

2018-01-04 10:02:30 2556

原创 [EMNLP2014]Convolutional Neural Networks for Sentence Classification

因为要用到CNN, 大概了解其意思，而不太明白具体工作原理，趁着元旦放假，集中心思了解它．下面这个博客给出了非常具体明白的解释．再结合读的这篇文章．大概知道了其原理 http://blog.csdn.net/u013082989/article/details/53673602 https://www.zybuluo.com/hanbingtao/note/485480 (非常详细明白)

2018-01-02 10:36:09 925

Deep Learning and NLP Farm