自然语言处理【NLP】
文章平均质量分 90
土豆洋芋山药蛋
理性的生存,诗意的栖居。
展开
-
自然语言处理中的Character Embedding技术
在2013年的时候,Tomas Mikolov提出了word embedding技术来更好的表示一个单词的向量,也就是word2vec,在当时也获得了语法和语义相似度上最好的结果。之后关于doc2vec也被提出来,由此word和doc都有了相应的embedding的方法。如果换个角度想,在比word更细粒度的角度,还有character。这篇文章就来探讨关于character embedding的相关内容。什么是character embedding?《Text Understanding from S原创 2021-04-26 10:59:18 · 2818 阅读 · 0 评论 -
ROUGE的理解
ROUGE的理解ROUGE表示Recall-Oriented Understudy for Gisting Evaluation,这是在文本摘要以及机器翻译中重要的评价指标。它通过将自动产生的摘要或翻译与一组参考摘要(通常是人工产生的)进行比较来工作。目前在文本摘要任务中最常用的评价方法是ROUGE(Recall-Oriented Understudy for Gisting Evaluation,来源于2003的paper Automatic Evaluation of Summaries Using原创 2020-10-24 09:49:45 · 2064 阅读 · 0 评论 -
【论文阅读 - AAAI 2019】Abstractive Summarization: A Survey of the State of the Art
Abstractive Summarization: A Survey of the State of the ArtConference: AAAI 2019Authors:Hui Lin, Vincent NgHuman Language Technology Research Institute University of Texas at Dallas Richardson, TX 75083–0688 {hui,vince}@.hlt.utdallas.edu论文链接:https://ww原创 2020-09-26 22:28:24 · 716 阅读 · 0 评论 -
NLP从Seq2Seq到ALBERT模型理解与实践
今天来推荐一下自己开源的一个小项目,主要包括NLP中一些经典模型的理解与相关实践,从最初的Seq2Seq到目前比较流行的BERT模型,以及BERT模型改进——ALBERT模型等。链接地址:https://github.com/LIANGQINGYUAN/NLP-Notebook下面包含这个仓库的基本学习路线、目录和示例。基本学习路线下面是模型实践的基本学习路线:图片内年分为对应模型的...原创 2020-04-19 00:15:23 · 766 阅读 · 4 评论 -
【NLP】ALBERT:瘦身版的BERT模型
引言BERT是一种预训练模型,有很多预训练模型,例如skip-gram,cbow可以用在embedding的时候的预训练模型,但参数比较少,我们得在加上很多其他层来训练。ALBERT也是一种预训练模型。在深度学习中,我们知道把网络变深可以增加模型的效果,但将BERT模型的网络变深,hiddne size变大之后将会很大训练,因为参数的量级达到了十几G。所以就引出了ALBERT的核心研究问题:...原创 2020-03-17 13:59:05 · 837 阅读 · 0 评论 -
【NLP】李宏毅老师ELMO, BERT, GPT讲解【笔记】
零、引例首先来看一个例子,下面有四句话,每一句话中都有“bank”这个单词:1、Have you paid that money to the bank yet ?2、It is safest to deposit your money in the bank .3、The victim was found lying dead on the river bank .4、They sto...原创 2020-03-07 19:33:48 · 1701 阅读 · 1 评论 -
【NLP】Transformer机制与实战(Tensoflow2.x)
一、基本框架Transformer模型是Google在2017年的论文《Attention is all you need》中提出的一种模型。Transformer之前的Seq2Seq的模型中,Encoder和Decoder中的基本单元结构是RNN系列(如LSTM,GRU等)的单元。但在Transformer中并没有使用这些单元结构。首先来说一下transformer和LSTM的最大区别, ...原创 2020-03-06 21:48:19 · 1179 阅读 · 0 评论 -
【NLP】Attention机制与实战(Tensoflow2.x)
Attention是一种用于提升基于RNN(LSTM或GRU)的Encoder + Decoder模型效果的机制(Mechanism),一般称为Attention Mechanism。Attention给模型赋予了区分辨别的能力,例如,在机器翻译、语音识别应用中,为句子中的每个词赋予不同的权重,使神经网络模型的学习变得更加灵活(soft),同时Attention本身可以做为一种对齐关系,解释翻译输...原创 2020-03-03 22:09:01 · 1742 阅读 · 0 评论 -
【NLP】Seq2Seq模型与实战(Tensoflow2.x、Keras)
一、从RNN到Seq2Seq根据输出和输入序列不同数量rnn可以有多种不同的结构,不同结构自然就有不同的引用场合。如下图,one to one 结构,仅仅只是简单的给一个输入得到一个输出,此处并未体现序列的特征,例如图像分类场景。one to many 结构,给一个输入得到一系列输出,这种结构可用于生产图片描述的场景。many to one 结构,给一系列输入得到一个输出,这种结构可用...原创 2020-02-20 18:11:47 · 2268 阅读 · 1 评论 -
文本分类——常用经典技术解析(jieba,word2vec,样本不平衡问题)
一个文本分类任务的典型操作流程如下:即拿到数据后先分词,然后转化为词向量(数值化过程),最后对数值化后的数据进行分类。一、jieba分词原理jieba自带了一个叫做dict.txt的词典, 里面有2万多条词, 包含了词条出现的次数(这个次数是于作者自己基于人民日报语料等资源训练得出来的)和词性. 这个第一条的trie树结构的词图扫描, 说的就是把这2万多条词语, 放到一个trie树(词典树...原创 2019-03-01 15:35:43 · 2748 阅读 · 0 评论 -
理解NLP中的卷积神经网络(CNN)
此篇文章是Denny Britz关于CNN在NLP中应用的理解,他本人也曾在Google Brain项目中参与多项关于NLP的项目。 · 翻译不周到的地方请大家见谅。 阅读完本文大概需要7分钟左右的时间,如果您有收获,请点赞关注 :)一、理解NLP中的卷积神经网络(CNN)现在当我们听到神经网络(CNN)的时候,一般都会想到它在计算机视觉上的应用,尤其是C...翻译 2018-04-26 22:36:01 · 8456 阅读 · 10 评论 -
《Text Mining and Analytics》学习笔记——第一周
课程链接:https://www.coursera.org/learn/text-mining 主讲:伊利诺伊大学香槟分校 ChengXiang Zhai教授 NLP领域有哪些神一样的人物:知乎链接前言1.什么是文本数据?首先数据是感知器在感知真实世界后的一个反馈。当温度计,地理传感器等设备感知到的是非文本数据,而对于如果将人类最为一个传感器的话...原创 2017-12-14 21:18:08 · 2753 阅读 · 0 评论 -
《Text Mining and Analytics》学习笔记——第二周
第一周笔记 : 《Text Mining and Analytics》学习笔记——第一周 目录 组合关系1.熵2.条件熵3.条件熵挖掘组合关系4.交互信息交互信息特点:交互信息的数学表达式:交互信息的计算:主题挖掘(Topic Mining)1.动机和任务基于主题挖掘的应用:得到k个主题每篇文章的主题覆盖率2.将术语作为主题那我们...原创 2017-12-22 11:12:59 · 1386 阅读 · 0 评论 -
《Text Mining and Analytics》学习笔记——第三周
上周我们留了一个问题:在使用最大似然法时如何去掉那些并不重要但实际上出现次数又很多的单词呢?这周就以这个问题开始进一步的学习概率主题模型吧。一元语言混合模型 怎么能避免那些并不重要但实际上出现次数又很多的单词对结果的影响呢?我们很自然的就会想到将a,the这类单词和其他的单词分开,也就是需要两个或多个分布来表示一个模型。正如下图所展示的一样,我们用了两个分布来...原创 2018-01-03 14:37:40 · 2355 阅读 · 0 评论 -
《Text Mining and Analytics》学习笔记——第四周
文本聚类Q1:什么是文本聚类?Q2:为什么使用文档聚类?Q3:文本聚类应该怎么做?方法1:使用生成概率模型方法2:基于相似度的方法HAC:K-means聚类Q4:到底哪个聚类模型好呢?文本分类Q1:什么是文本分类?Q2:为什么要是用文本分类Q3:怎么样来进行文本分类?生成式的分类器—-看哪些数据应该分为一个类别文本聚类 文本聚...原创 2018-01-11 13:00:13 · 1292 阅读 · 2 评论 -
使用贝叶斯,ETs进行文本分类实示例
分类的步骤: 1.分词 2.计算TF-IDF 3.特征抽取 3.放入分类器进行训练1.分词我们原始的数据格式是下面那样的: 数据分为6类,即文件“原始整理数据(改).xlsx”去停用词的文件“stopwords.txt”,里面每一行放停用词import jiebaimport pandas as pdimport redf = pd.read_exce...原创 2018-03-10 18:23:03 · 885 阅读 · 0 评论 -
《Text Mining and Analytics》学习笔记——第五周
第五周我们继续讨论“判别式”分类器在文本分类中的应用,还将讨论文本的观点和情感分析。在上一周的学习中我们讨论了问题——怎样进行文本分类?并且讨论了生成式分类器,这周我们就先从判别式分类器讨论开始学习。关于生成式分类器和判别式分类器的区别,大家可以查看这篇文章判别式分类器与生成式分类器不同的是,判别式分类器不需要知道联合概率分布,直接根据数据得到条件概率分布(具体可以看上...原创 2018-02-21 17:00:49 · 2143 阅读 · 0 评论