![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
文章平均质量分 60
闰土不用叉
这个作者很懒,什么都没留下…
展开
-
【自然语言处理入门】03:利用线性回归对数据集进行分析预测(上)
本篇笔记是《从自然语言处理到机器学习入门》课程第三次作业的上篇,主要是复现了老大课上讲的利用线性回归对波士顿房价进行预测的实验。在下篇中,将利用该模型对红酒数据集进行线性回归分析。原创 2017-12-21 16:06:40 · 3040 阅读 · 0 评论 -
從零開始的 Sequence to Sequence
前段时间研究了下seq2seq,在网上查了写资料,但这些资料大都相同,要么就论文中的几个创新点来谈,要么就keras或者tensorflow提供的seq2seq例子来简单介绍下。很少有文章讲清楚了是怎么训练的,怎么预测的,后来翻到了一位同学的个人博客,他从RNN到LSTM再到seq2seq都讲得非常清楚。具体见链接:從零開始的 Sequence to Sequence...原创 2018-10-04 16:14:48 · 350 阅读 · 0 评论 -
【论文笔记02】Text Understanding with the Attention Sum Reader Network
1 问题及数据集1.1 问题给定较长一段话的context和一个较短的问题,以及一些candidate answers,训练出可以准确预测正确答案的模型,本模型主要针对命名实体和常用名词这两种词性的单词进行填空。1.2数据集(1)CNN&Daily Mail(2)CBT2 已有方法(1)Attentive and Impatient Readers(2)Attentive...原创 2018-10-13 09:37:05 · 711 阅读 · 2 评论 -
【论文笔记03】ReasoNet: Learning to Stop Reading in Machine Comprehension
1 问题及数据集1.1 问题本论文主要解决一种面向Cloze-style(填空式)的阅读理解(问答)问题1.2 数据集(1)CNN&Daily Mail(2)SQuAD(3)Graph Reachability datase2 已有方法2.1 单轮推理(1)特点单轮推理模型主要利用注意力机制来强调文档中与问题相关的那些部分,计算问题和文档子单元的相应加权表示之...原创 2018-10-13 20:27:03 · 1218 阅读 · 2 评论 -
【论文笔记01】Phrase-Based & Neural Unsupervised Machine Translation
这篇论文来源于EMNLP2018,论文地址,这次采用了思维导图的方式记录笔记,思维导图的缩略图如下:缩略图有些模糊,于是我上传服务器了,可以直接点击查看。导图地址...原创 2018-10-08 20:05:54 · 1542 阅读 · 0 评论 -
【论文笔记04】TriviaQA_A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension
1 论文主要内容本文是一篇资源论文,主要发布了用于检索式问答或阅读理解的数据集Trivia QA;对该数据集的质量和数量进行了分析,并创建了baseline,用于具体评估数据集的质量。2 Trivia QA数据集的特点问题比较复杂在问题和相应的答案句子中有大量的句法或词汇变化需要更多的跨句推理来得到答案3 本文的主要贡献发布了一个阅读理解数据集提出了分析量化数据集...原创 2018-10-22 15:47:35 · 2877 阅读 · 0 评论 -
【论文笔记05】WORDS OR CHARACTERS? FINE-GRAINED GATING FOR READING COMPREHENSION
1 问题和数据集1.1 问题这是一篇以阅读理解为任务的文章,但在具体处理这个任务时,主要解决数据特征等的表示问题。在提取文本特征时,通常只对单词做词嵌入,而忽略了字符级的特征。1.2 数据集CBTWDWSQuAD2 目前已有方法2.1 单词级表示(1)from a lookup table(2)每个单词用一个向量表示(3) 擅长表示单词的语义2.2 字符级表...原创 2018-10-22 20:03:33 · 434 阅读 · 0 评论 -
【论文笔记06】Memory Network
1 问题和解决办法(1)问题当遇到有若干个句子并且句子之间有联系的时候,RNN和LSTM就不能很好地解决;对于句子间的这种长期依赖,于是需要从记忆中提取信息;(2)解决办法本文提出了实现长期记忆的框架,实现了如何从长期记忆中读取和写入,此外还加入了推理功能;在QA问题中,长期记忆是很重要的,充当知识库的作用,从其中获取长期记忆来回答问题。2 模型框架(1)模型由4个模块...原创 2018-11-02 16:59:22 · 467 阅读 · 0 评论 -
【论文笔记09】Teaching Machines to Read and Comprehend
本文主要做出了两个大的贡献:给出了阅读理解数据集的构造方法,并开源了两个阅读理解数据集;提出了三种神经网络模型作为baseline,以方便后面的研究者进行相关的研究。1 数据构造主要是从新闻网站中抓取新闻作为文章,新闻的摘要去掉一个实体词成为query,被去掉的单词作为答案。为了防止模型对训练数据的过度依赖,于是将文章和问题中的实体进行匿名化和随机替换。具体见官方教程2 三种神经网络...原创 2018-11-19 20:10:27 · 445 阅读 · 0 评论 -
【论文笔记07】End-To-End Memory Networks
1 背景(1)在记忆网络中,主要由4个模块组成:I、G、O、R,前面也提到I和G模块其实并没有进行多复杂的操作,只是将原始文本进行向量表示后直接存储在记忆槽中。而主要工作集中在O和R模块,O用来选择与问题相关的记忆,R用来回答,而这两部分都需要监督,也就是需要知道O模块中选择的记忆是否正确,R生成的答案是否正确,这种模型多处需要监督,而且不太容易使用常见的BP算法进行训练,这就限制了模型的推广。...原创 2018-11-17 20:30:59 · 372 阅读 · 0 评论 -
【论文笔记08】Dynamic Entity Representation with Max-pooling Improves Machine Reading
本文模型之前的模型都是用一个静态的向量来表示一个entity,与上下文没有关系。而本文最大的贡献在于提出了一种动态表示entity的模型,根据不同的上下文对同样的entity有不同的表示。模型还是采用双向LSTM来构建,这时实体表示由四部分构成,包括两个方向上的隐层状态,,以及该实体所在句子的最后隐层状态,也就是该实体所在的上下文表示。如图所示。问题向量的计算与动态实体计算过程类似,这里需要填...原创 2018-11-17 21:25:44 · 381 阅读 · 0 评论 -
【论文笔记10】Key-Value Memory Networks for Directly Reading Documents
上个月看了Facebook的记忆网络系列,前面的两篇论文的笔记看完就整理了,后面这几篇就耽误了,最近又看了一遍,于是及时整理,不然又忘了。这篇文章主要参考北邮的两位大佬(北邮张博、知乎-呜呜哈)的文章,这两个大佬是真的厉害Orz,他们的文章我在最后面贴出了链接。为了自己更好的理解,部分地方我进行了细化,也有些地方进行了省略。1 模型结构这是来自ACL2016的论文,它修改基本的端到端结构,使其...原创 2018-12-12 16:31:15 · 2759 阅读 · 0 评论 -
【论文笔记11】TRACKING THE WORLD STATE WITH RECURRENT ENTITY NETWORKS
这个模型也就是前面提到的动态记忆,这篇论文来自ICLR2017,论文比笔记还是参考了北邮的两位大佬的博客,后面给出了原博客地址。论文提出了一种新的动态记忆网络,使用固定长度的记忆单元来存储世界上的实体,每个记忆单元对应一个实体,主要存储该实体相关的属性(如一个人拿了什么东西,在哪里,跟谁等等),并且该记忆会随着输入内容实时更新。多个记忆槽之间相互独立,由(key,value)组成。key用来标识...原创 2018-12-12 17:29:12 · 475 阅读 · 0 评论 -
【论文笔记13】Attention-over-Attention Neural Networks for Reading Comprehension
本文主要介绍AoA reader 的模型结构,由论文《Attention-over-Attention Neural Networks for Reading Comprehension》提出,论文直通车1 论文概述该论文针对机器阅读理解任务,提出了AoA reader模型,在CNN/Daily Mail 和CBT数据集上取得了不错的效果。2 模型细节模型的结构图如上图所示,主要包含了以...原创 2019-04-02 15:56:56 · 565 阅读 · 0 评论 -
【论文翻译&笔记01】How Much Reading Does Reading Comprehension Require?
0 Abstract最近的许多论文都涉及到阅读理解,他们一般都包括(问题,段落,答案)元组。或许,一个模型必须综合问题和段落两者的信息来预测相应的答案。然而,尽管人们对这个话题产生了浓厚的兴趣,数百篇已发表的论文争夺排行榜的主导地位,但关于许多流行基准测试难度的基本问题仍未得到解答。在这篇论文中,我们为bAbI、SQuAD、CBT、CNN和Who-did-What的数据集建立了合理的基线,发现只...翻译 2018-10-01 11:05:32 · 632 阅读 · 0 评论 -
利用sklearn实现多分类demo
title: 利用sklearn实现多分类demo date: 2018-9-3 19:30:38 thumbnail: https://raw.githubusercontent.com/xiongzongyang/hexo_photo/master/iris.png tags: - 自然语言处理 - 文本分类 categories: [NLP,Classi...原创 2018-09-03 19:37:27 · 7043 阅读 · 0 评论 -
【自然语言处理入门】02:Kenlm语料库的制作与模型的训练
本文是《从自然语言处理到机器学习入门》系列课程的第二次作业,由于我的作业环境没有配好(配了n次了还是不行T_T),但是为了保证这一系列作业的完整性,于是经罗曜强律师同意,人工智能A7论坛授权,转载他的作业笔记。 1 基本要求通过自己训练的语言模型编程,判断每句话中是否存在a an用错的问题(所谓用错 指a an用反了 比如 i have a apple是错误的; i have an appl原创 2017-12-18 16:53:51 · 7499 阅读 · 10 评论 -
【自然语言处理入门】01:利用jieba对数据集进行分词,并统计词频
使用jieba对垃圾短信数据集进行分词,然后统计其中的单词出现的个数,找到出现频次最高的top100个词。原创 2017-12-08 23:57:53 · 11060 阅读 · 0 评论 -
【自然语言处理入门】03:利用线性回归对数据集进行分析预测(下)
上一篇中我们简单的介绍了利用线性回归分析并预测波士顿房价数据集,那么在这一篇中,将使用相同的模型来对红酒数据集进行分析。原创 2017-12-21 19:24:40 · 1787 阅读 · 0 评论 -
【NLTK基础教程】01-02 利用nltk统计词频
在上篇中,简单的介绍了三种获取有效文本的方法,那么接下来就利用nltk来统计这些文本中出现的次数。 我们首先来看下传统统计词频的方法:import operatorfreq_dis={}for tok in tokens: if tok in freq_dis: freq_dis[tok]+=1 else: freq_dis[tok原创 2018-01-21 20:36:19 · 4396 阅读 · 1 评论 -
【NLTK基础教程】02 何为文本歧义
文本歧义,书中的定义式从原生数据中获取一段机器可读的已经格式化文本之前所要做的所有预处理工作,以及所有繁复的任务。该过程涉及到数据再加工,文本清理,特定项处理,标识化处理,词干提取或词型还原以及停用词移除等操作。 好吧,书中将文本歧义定义为数据预处理这一些列工作,难到文本歧义不应该是一个文本,多个意思,从而有歧义这个意思吗?没搞懂(问号脸.jpg).如果是把文本歧义理解成通过一系列数据预处理原创 2018-01-22 21:08:20 · 349 阅读 · 0 评论 -
【文本相似度】利用余弦相似性计算句子的相似度
好吧,在处理文本的过程中有陷入了一个胡同,不知道接下来该做啥了。于是又在网上找相关的资料,无意间发现了两篇写得超级超级好的博客,是讲文本相似度,之前也学过,但是这两篇博文写得非常棒,深入浅出。然后也按照博文进行了代码实现,在此记录下,也作为文本相似度相关文章的第一篇。 1 功能分析通过词频和余弦相似性定理计算句子间的相似度,具体理论讲解见上面提到的两篇博文。 1、TF-IDF与余弦相似...原创 2018-03-23 21:15:56 · 4206 阅读 · 0 评论 -
【自然语言处理入门】03:利用线性回归对数据集进行分析预测(下)
上一篇中我们简单的介绍了利用线性回归分析并预测波士顿房价数据集,那么在这一篇中,将使用相同的模型来对红酒数据集进行分析。 1 基本要求利用线性回归,对红酒数据集进行分析。数据集下载地址。2 完整代码#-*- coding: UTF-8 -*-# @Time : 2017/12/21 9:29# @Author : xiongzongyang#...原创 2018-04-11 21:11:13 · 873 阅读 · 0 评论 -
Bag of Words Meets Bags of Popcorn(1)-Bag of Words
本篇是kaggle之电影评论文本情感分类(Bag of Words Meets Bags of Popcorn)的实现,主要参照Rajath Chidananda的《Bag of Words Meets Bags of Popcorn》,整体是按照他的流程来走的,对每一步都加上了注释,也对相应点给出了参考资料链接。1、准备工作1.1 查看数据格式import pandas ...原创 2018-06-13 21:38:41 · 326748 阅读 · 0 评论 -
Bag of Words Meets Bags of Popcorn(2)-tfidf
本篇是kaggle之电影评论文本情感分类(Bag of Words Meets Bags of Popcorn)实现的第二篇,语言模型选择的是TFIDF 主要参考:https://www.kaggle.com/rajathmc/bag-of-words-meets-bags-of-popcorn https://www.cnblogs.com/lijingpeng/p/5787549.html...原创 2018-06-14 14:55:23 · 457 阅读 · 0 评论 -
Bag of Words Meets Bags of Popcorn(3)-Word2Voc
词带模型:Bag of Words Meets Bags of Popcorn(1)-Bag of Words Tfidf模型:Bag of Words Meets Bags of Popcorn(2)-tfidf 这一节采用词向量 1、读取数据import pandas as pdtrain=pd.read_csv('./data/labeledTrainData.tsv',...原创 2018-06-14 17:28:46 · 6203 阅读 · 0 评论 -
Keras examples-imdb_bidirectional_lstm[利用Bi-LSTM实现情感分类]
1 任务描述本实验是训练一个双向LSTM,并在IMDB数据集上完成情感分类任务2 具体实现(1)引入必要的包from __future__ import print_functionimport numpy as npfrom keras.preprocessing import sequencefrom keras.models import Sequential...原创 2018-08-16 16:24:05 · 4054 阅读 · 0 评论 -
两种在Python中使用Stanford CoreNLP的方法
这两种方法都需要提前下载CoreNLP最新的压缩包,再下载对应的语言jar包。从CoreNLP下载页面下载。将压缩包解压得到目录,再将语言的jar包放到这个目录下即可。并且要求java -version>=1.8。 接下来就是利用python对该工具的使用进行一个封装,这里主要给出两种常用的python wrapper。1、使用stanfordcorenlp接口见链接:Python...原创 2018-08-22 11:20:37 · 15279 阅读 · 17 评论 -
利用nltk可视化stanford coreNLP构建的中文句法树
在stanford coreNLP的网页中直接以树的形式可视化了解析结果。但在IDE中,利用python调用coreNLP server后返回的是字符串格式。这是可以利用nltk中的Tree类来可视化解析结果。代码如下:from nltk.tree import Treefrom stanfordcorenlp import StanfordCoreNLPsentence = '我叫小米'...原创 2018-08-22 21:58:58 · 7797 阅读 · 3 评论 -
Keras中加载预训练的词向量
经常需要加载预训练的词向量,有时候会脑抽忘记,所以记录下。vocab={} # 词汇表为数据预处理后得到的词汇字典# 构建词向量索引字典## 读入词向量文件,文件中的每一行的第一个变量是单词,后面的一串数字对应这个词的词向量glove_dir="./data/zhwiki_2017_03.sg_50d.word2vec"f=open(glove_dir,"r",encoding=&a原创 2018-08-27 18:25:48 · 5357 阅读 · 3 评论 -
【论文笔记14】Gated-Attention Readers for Text Comprehension
本文主要介绍GA reader模型的基本思想,由论文《Gated-Attention Readers for Text Comprehension》提出,论文直通车1 论文概述本篇论文的思想其实是很简单的,可以把其看成是AS reader模型的扩展,尽管模型简单,但是也取得了不错的成绩,也证明了乘法操作机制带来的效果显著。值得一提的是,论文中的相关工作部分,对之前的模型进行了分门别类的概述,这...原创 2019-04-03 14:27:56 · 486 阅读 · 2 评论