bobobe的专栏

学习记录

远程访问Jupyter Notebook

参考链接:设置 jupyter notebook 可远程访问 如果你的jupyter notebook是5.0以上,则直接执行jupyter notebook password,然后输入你的密码,系统会根据你的密码自动生成密文,并创建jupyter_notebook_config.json,并把生...

2019-04-25 11:51:42

阅读数 9

评论数 0

Genre Separation Network with Adversarial Training for Cross-genre Relation Extraction

本论文的主要任务是跨领域的关系抽取,具体来说,利用某个领域的数据训练好的关系抽取模型,很难去直接抽取另一个领域中的关系,比如我们拿某个领域训练好的模型,把另一个领域的数据直接输入整个模型,很难抽取出来正确的实体关系。这主要是因为源领域和目标领域特征表达的不同,在源领域的某个特征,在目标领域可能表达...

2019-03-07 22:31:57

阅读数 80

评论数 0

unpooling(上池化),unsampling(上采样),Deconvolution(反卷积)

unpooling 如图所示,以maxpooling为例,上池化在池化过程中会记录最大值所在下标,然后利用特征图填充最大值所在下标,其他位置填0,特征图一般为maxpooling后得到的最大值矩阵。 unsampling 上采样并不像上池化那样记录最大值的下标,而是把所有位置都附为特征图中的值。 ...

2019-03-07 22:14:56

阅读数 112

评论数 0

tensorflow中的conv1d和conv2d

网上搜的一篇资料,还没看:tensorflow中一维卷积conv1d处理语言序列的一点记录 tensorflow中的conv1d和conv2d的区别:conv1d是单通道的,conv2d是多通道,所以conv1d适合处理文本序列,conv2d适合处理图像。 conv1d import tenso...

2019-02-25 20:21:07

阅读数 848

评论数 4

变分自编码器(Variational Auto-Encoder,VAE)

最近看论文看到变分自编码器,发现它也可以用于数据增强,就仔细了解了一下,把比较好的讲解资料和自己的想法整理一下,以备用。 经典论文 Auto-Encoding Variational Bayes(还没看,据说很经典) 详细介绍 Tutorial - What is a variatio...

2019-02-17 21:02:13

阅读数 243

评论数 0

TextCNN

论文 2014EMNLP:Convolutional Neural Networks for Sentence Classification。 文章提出将卷积神经网络运用到文本分类任务,并且取得了目前最好的效果。 模型 网络结构如论文中所示: 具体解释如下: CNN最先应用...

2019-02-16 13:59:29

阅读数 64

评论数 0

实体和关系抽取

实体和关系抽取目前应该大体分为两种方式: 底层网络共享,上层网络输出分开(实体和关系),损失函数加起来。 改变标签体系,从而让实体和关系一起输出,不用再分开输出。 ...

2019-01-22 22:18:05

阅读数 182

评论数 0

capsule network

一篇通俗易懂的capsule network的讲解,直接搬运过来。 CapsuleNet解读 后面如果用到会添加自己的理解和想法。

2018-11-26 21:53:57

阅读数 52

评论数 0

[ACL2017]Going out on a limb: Joint Extraction of Entity Mentions and Relations without....

Going out on a limb: Joint Extraction of Entity Mentions and Relations without Dependency Trees 背景 作者在2016年发表的论文:”Investigating LSTMs for Joint...

2018-11-15 14:51:52

阅读数 179

评论数 8

python3 urllib2 报错raise AttributeError, attr SyntaxError: invalid syntax

使用python3经常会出现关于urllib2的一些问题,urllib2是python2里面的,这里代码出错往往是因为引用了urllib2。 解决办法,找到报错的文件,找到出错代码,比如我下面报错的信息: 于是打开mldata.py找到12行 try: # Python 2 fro...

2018-11-08 22:27:31

阅读数 1039

评论数 0

[ACL2016]Investigating LSTMs for Joint Extraction of Opinion Entities and Relations论文粗略解读

这篇论文是意见实体和关系联合抽取。作者称这是第一次尝试把深度网络用到意见实体和关系联合抽取上。以前利用crf等的传统联合抽取方法太依赖众多特征。 opinion analysis 所谓“意见分析(opinion analysis)",&qu...

2018-09-28 11:03:50

阅读数 232

评论数 0

[ACL2016]End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures论文解读

这篇论文应该算是实体和关系联合抽取的开山鼻祖。 结构 从上图可以看出,网络结构主要包含三部分: embedding layer embedding主要有4部分,word embedding,pos embedding,dependency embedding(依赖关系)...

2018-09-27 14:53:57

阅读数 239

评论数 1

self-attention----Attention is all you need论文解读

todo

2018-09-11 17:30:12

阅读数 6943

评论数 6

attention model -- Hierarchical Attention Networks for Document Classification

这是2016 ACL的一片论文。本文主要介绍了attention机制在文本分类上的应用。作者提出了分层的attention。 sentence level attention: 每个句子对整篇文章的类别贡献不一样,所以给sentence添加attention机制,可以有权重地选择哪个sent...

2018-08-14 11:28:46

阅读数 521

评论数 0

Bi-direcional RNN

双向RNN共享权值图:

2018-08-13 11:03:20

阅读数 75

评论数 0

Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks

来源:NIPS 2015 本文介绍了decode时采样的一种新方法,称为“curriculum learning”(课程学习),对应的采样方法叫做“scheduled sampling”(计划采样)。 传统方法的问题:传统的神经网络训练时和预测时的输入不一样。 比如对于上图这种网络结构...

2018-07-31 10:06:56

阅读数 608

评论数 0

NLP基本任务

下面几张图摘录自:CIPS2016 中文信息处理报告 nlp整体架构 词法分析 中文分词 句法分析 语义分析

2018-07-27 13:20:55

阅读数 851

评论数 0

逻辑回归损失函数的两种解释(转)

从信息论交叉熵的角度看softmax/逻辑回归损失

2018-06-07 17:39:24

阅读数 1917

评论数 0

Global Normalization of Convolutional Neural Networks for Joint Entity and Relation Classification

这篇是2017年CL收录的论文。 本文提出了一种新的实体分类(EC)和关系抽取(RE)的方法。如果对BiLSTM+crf有一定了解的话理解这篇论文就容易得多,因为他的整体思想是基于BiLSTM+crf的。 作者提出关系抽取对命名实体的识别有很大的作用,比如可以消除歧义问题,如mercedes可...

2018-06-02 16:18:36

阅读数 206

评论数 0

CRF++

CRF++是CRF算法的一个实现。 它最重要的功能我认为是采用了特征模板。这样就可以自动生成一系列的特征函数,而不用我们自己生成特征函数,我们要做的就是寻找特征,比如词性等。 特征模板 特征模板就是为了生成特征函数。在crf++中有unigram和bigram两种模板。首先看训练...

2018-05-30 16:02:08

阅读数 5891

评论数 3

提示
确定要删除当前文章?
取消 删除
关闭
关闭