2019年05月_kaiyuan_sjtu

原创【论文】Awesome Relation Extraction Paper（关系抽取）（PART V）

写在前面Ranking-Based Automatic Seed Selection and Noise Reduction for Weakly Supervised Relation Extraction（Phi/ACL2018）

2019-05-29 12:52:15 3024 3

原创【论文】基于特定实体的文本情感分类总结（PART III）

0. 写在前面一些ABSA的论文1. Targeted Aspect-Based Sentiment Analysis via Embedding Commonsense Knowledge into an Attentive LSTM...

2019-05-28 10:29:13 3100 13

原创自然语言处理资源备忘录

写在前面整理一些质量不错的自然语言处理方法的资源，备忘录性质。持续更新~Awesome Artificial Intelligence (AI)Awesome Deep LearningAwesome Machine Learningawesome-nlpNLP-progressYSDA Natural Language Processing ...

2019-05-26 15:31:27 6994 1

原创 Memory Networks论文串烧

写在前面Memory Networks经典论文阅读笔记，会包括Vanilla Memory Networks及其各种变形以及在NLP领域的应用。主要涉及一下论文：Memory Networks (Facebook AI Research/2015)1、Memory NetworksMemory Networks提出的最大卖点就是具备长期记忆（long-term memory），虽然当时...

2019-05-24 14:43:23 1707

原创 BERT源码分析PART III

写在前面继续之前没有介绍完的Pre-training部分，在上一篇中我们已经完成了对输入数据的处理，接下来看看BERT是怎么完成Masked LM和Next Sentence Prediction两个任务的训练的。 run_pretraining任务#1：Masked LMget_masked_lm_output函数用于计算任务#1的训练loss。输入为BertModel的最后一层se...

2019-05-18 13:20:29 13413 1

写在前面BERT的使用可以分为两个步骤：pre-training和fine-tuning。pre-training的话可以很好地适用于自己特定的任务，但是训练成本很高（four days on 4 to 16 Cloud TPUs），对于大对数从业者而言不太好实现从零开始(from scratch)。不过Google已经发布了各种预训练好的模型可供选择，只需要进行对特定任务的Fine-tunin...

2019-05-17 15:32:55 14540 1

原创 BERT源码分析PART I

写在前面BERT模型也出来很久了，之前有看过论文和一些博客对其做了解读：NLP大杀器BERT模型解读，但是一直没有细致地去看源码具体实现。最近有用到就抽时间来仔细看看记录下来，和大家一起讨论。注意，本系列阅读需要提前对NLP相关知识有所了解，比如attention机制、transformer框架以及python和tensorflow基础等，关于BERT的原理不是本文的重点。附上关于BERT...

2019-05-16 21:34:15 21833 10

原创【论文】Awesome Relation Extraction Paper（关系抽取）（PART IV）

0. 写在前面不想写1. Neural Relation Extraction with Multi-lingual Attention（Lin/ ACL2017）这篇文章是在Lin 2016年 Selective Attention的基础上进行改进，将以前仅仅研究单一语言扩展到多语言信息抽取。多数已有的研究都致力于单语言数据，而忽略了多语言文本中丰富的信息。多语言数据对信息抽取任务有以下两...

2019-05-14 10:35:48 2746

原创【论文】Awesome Relation Extraction Paper（关系抽取）（PART III）

0. 写在前面回头看了一遍之前的博客，好些介绍的论文主要是属于关系分类的领域，于是就把前几篇的标题给修改了一下哈哈。关系分类和之前的文本分类，基于目标词的情感识别还都挺像的，baseline模型也都差不多。首先对之前的关系分类算法做个总结，然后进入今天的关系抽取（relation extraction）部分。关系分类总结输入层标配：word embedding + position emb...

2019-05-10 11:26:29 2812 2

原创【论文】Awesome Relation Classification Paper（关系分类）（PART II）

0. 写在前面上一篇【论文】Awesome Relation Extraction Paper（关系抽取）（PART I）介绍了一些关系抽取和关系分类方面的经典论文，主要是以CNN模型为主，今天我们来看看其他模型的表现吧~1. Relation Classification via Recurrent Neural Network考虑到CNN对于文本序列的长距离建模不够理想，作者提出使用RN...

2019-05-09 08:55:13 1548

原创【论文】Awesome Relation Classification Paper（关系分类）（PART I）

0. 写在前面“正确的判断来自经验，而经验来自于错误的判断”之前做过的百度今年的语言与智能技术竞赛，其中有一个子赛道就是关于信息抽取。信息抽取（Information Extraction）是指从非结构化的自然语言文本中抽取出实体、属性、关系等三元组信息，是构建知识图谱的基础技术之一。IE的子任务大概有以下几种：实体识别与抽取实体消歧关系抽取事件抽取之前有介绍过关于实体识别...

2019-05-06 13:31:17 1890

原创【论文】基于特定实体的文本情感分类总结（PART II）

0. 写在前面五一假期最后一天…太阳超棒…1. Multi-grained Attention Network for Aspect-Level Sentiment ClassificationEMNLP 2018的一篇论文，作者分析了先前提出的ABSA任务模型的不足：使用的attention mechanism都是属于粗粒度的（简单地求和操作），如果对于target word和cont...

2019-05-04 20:42:51 2121 2

原创【论文】基于特定实体的文本情感分类总结（PART I）

0. 写在前面最近在看一个比赛：2019 搜狐校园算法大赛，赛题说的是给定若干文章，目标是判断文章的核心实体以及对核心实体的情感态度。每篇文章识别最多三个核心实体，并分别判断文章对上述核心实体的情感倾向（积极、中立、消极三种）。这里说的是实体识别，马上想到的就是利用分步走解决：先去对文章进行实体识别，然后对提取出来的实体进行情感分类。但是后来一想这样两步的话会使得最终结果的错误率叠加，也...

2019-05-03 20:50:29 4229 3

原创神经网络佛系炼丹手册

写在前面前几天有一篇关于神经网络训练的博文刷屏了，作者是特斯拉AI主管、李飞飞徒弟Andrej Karpathy。看了一眼之后发现跟之前CS231N课上的其中一节主题非常相似，而且在实际coding中也确实非常实用，于是趁着五一没事就再复习总结一遍记录下来，希望对大家也都有帮助吧。Andrej Karpathy博文链接：A Recipe for Training Neural Networks...

2019-05-01 15:03:14 9699

Kaiyuan_sjtu的博客