![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
是小李呀~
这个作者很懒,什么都没留下…
展开
-
NLP 中文同义词 反义词 否定词表
https://github.com/guotong1988/chinese_dictionary原创 2021-09-30 01:52:06 · 2609 阅读 · 0 评论 -
自然语言处理困难点
自然语言处理,即实现人机间自然语言通信,或实现自然语言理解和自然语言生成是十分困难的。造成困难的根本原因是自然语言文本和对话的各个层次上广泛存在的各种各样的歧义性或多义性(ambiguity)。一个中文文本从形式上看是由汉字(包括标点符号等)组成的一个字符串。由字可组成词,由词可组成词组,由词组可组成句子,进而由一些句子组成段、节、章、篇。无论在上述的各种层次:字(符)、词、词组、句子、段,……还是在下一层次向上一层次转变中都存在着歧义和多义现象,即形式上一样的一段字符串,在不同的场景或不同的语境下,可以原创 2021-09-13 13:10:53 · 1815 阅读 · 0 评论 -
【论文泛读】Enhanced LSTM for Natural Language Inference
论文链接:https://arxiv.org/pdf/1609.06038.pdfAbstractReasoning and inference are central to human and artificial intelligence. Modelinginference in human language is very challenging. With the availability of large annotated data (Bowman et al., 2015), it h原创 2021-08-23 10:28:18 · 138 阅读 · 0 评论 -
[论文泛读]Enhanced LSTM for Natural Language Inference
论文标题:《Enhanced LSTM for Natural Language Inference》论文链接:https://arxiv.org/abs/1609.06038简介今天分享的论文是NLP领域曾一度成为短文本匹配竞赛刷榜利器——ESIM。NLPer应该对这个模型不会陌生。光看论文标题就可以知道,该模型是一种专为自然语言推断而生的加强版LSTM,那么究竟是如何加强呢?接着往下看。先说一下,这个模型(论文中)主要在为了做一件什么事情呢?就是自然语言推断(Natural Language原创 2021-08-23 10:20:59 · 168 阅读 · 0 评论 -
【论文泛读】ERNIE-Gram: Pre-Training with Explicitly N-Gram Masked Language Modeling for Natural Language
论文:ERNIE-Gram: Pre-Training with Explicitly N-Gram Masked Language Modeling for Natural Language Understanding2020.10 NAACL 2021 百度本篇论文实验做的很详尽。以下内容主要包括摘要、引言、方法、实验、总结。1、摘要粗粒度的语言信息,如命名实体或短语,有助于在预训练时进行充分的表征学习。以前的工作主要集中在扩展BERT的掩码语言建模(MLM)目标,从屏蔽单个标记到n个连续序列的原创 2021-08-23 10:15:45 · 578 阅读 · 0 评论 -
文本匹配之ESIM
论文链接;https://arxiv.org/pdf/1609.06038.pdf最近一直在做自然语言推理和文本蕴含的相关工作,为了加深自己对论文的理解,在这里写下论文笔记。上一篇分享的文本蕴含论文bilateral multi-perspective matching (BiMPM)模型,这次分享的论文是Enhanced Sequential Inference Model(ESIM)。如果有错误的地方,请大家及时指正。一、背景介绍文本蕴含或者自然语言推理任务,就是判断后一句话(假设句)能否从前一句原创 2021-08-22 15:12:55 · 302 阅读 · 0 评论 -
【论文泛读】Learning Text Similarity with Siamese Recurrent Networks(孪生网络计算文本相似度)
论文链接:https://aclanthology.org/W16-1617.pdf模型结构:输入层输入特征:对于英文以字母的维度作为输入特征,中文则以字的维度作为输入特征;截断长度:依据数据集样本长度的分布选取合适的截断长度输入向量初始化:可以采用xavier_uniform_initializer来初始化embedding向量, 然后加入网络中训练,xavier_uniform_initializer可以使得每一层的方差都尽可能相等, 使网络中的信息更好地流动;也可以使用word2vec、e原创 2021-08-22 14:45:00 · 511 阅读 · 1 评论 -
warmup学习率策略代码实现
from tensorflow.keras.callbacks import Callbackimport tensorflow.keras.backend as Kclass WarmupExponentialDecay(Callback): def __init__(self,lr_base=0.0002,lr_min=0.0,decay=0,warmup_epochs=0): self.num_passed_batchs = 0 #一个计数器 self.原创 2021-08-21 15:21:24 · 509 阅读 · 0 评论 -
python自然语言处理笔记(一)
一. NLTK的几个常用函数Concordance实例如下:>>> text1.concordance("monstrous")Displaying 11 of 11 matches:ong the former , one was of a most monstrous size . ... This came towards us ,ON OF THE PSALMS . " Touching that monstrous bulk of the whale or ork原创 2021-08-17 22:16:53 · 178 阅读 · 0 评论 -
【论文泛读】中文文本蕴含类型及语块识别方法研究
摘要文本蕴含识别(RTE)是判断两个句子语义是否具有蕴含关系的任务.近年来英文蕴含识别研究取得了较大发展,但主要是以类型判断为主,在数据中精确定位蕴含语块的研究比较少,蕴含类型识别的解释性较低.从中文文本蕴含识别(CNLI)数据中挑选 12 000 个中文蕴含句对,人工标注引起蕴含现象的语块,结合语块的语言学特征分析归纳了 7 种具体的蕴含类型.在此基础上,将中文蕴含识别任务转化为 7 分类的蕴含类型识别和蕴含语块边界-类型识别任务,在深度学习模型上达到 69.19%和 62.09%的准确率.实验结果表明原创 2021-07-30 19:55:38 · 333 阅读 · 0 评论 -
【论文泛读】融合语义角色和自注意力机制的中文文本蕴含识别
摘要文本蕴含识别旨在识别两个给定句子之间的逻辑关系. 本文通过构造语义角色和自注意力机制融合模块,把句子的深层语义信息与 Transformer 模型的编码部分相结合,从而增强自注意力机制捕获句子语义的能力. 针对中文文本蕴含识别在数据集上存在规模小和噪声大的问题,使用大规模预训练语言模型能够提升模型在小规模数据集上的识别性能. 实验结果表明,提出的方法在第十七届中国计算语言学大会中文文本蕴含识别评测数据集 CNLI 上的准确率达到了 80. 28% .模型总结本文提出一种融合语义角色和自注意力机原创 2021-07-30 19:45:56 · 182 阅读 · 0 评论 -
【论文泛读】基于扩展的S-LSTM 的文本蕴含识别
摘要文本蕴含识别旨在自动判断给定的前提和假设(通常为2个句子)之间是否存在蕴含关系,是自然语言处理领域一项基础但富有挑战的任务.当前,主流的基于深度学习的模型通常分别建模前提和假设的语义表示,而没有把它们看作一个整体;另外,在捕获它们之间的语义关系时,大都没有同时利用句子级别的全局信息和短语级别的局部信息.最近提出的S-LSTM 能够同时学习句子和短语的语义表示,在文本分类等任务上取得了较好的效果.基于上述情况,提出了一种基于扩展的S-LSTM 的文本蕴含识别模型.一方面,把前提和假设看作一个整体,扩展S原创 2021-07-30 19:43:34 · 861 阅读 · 0 评论 -
【论文泛读】基于混合注意力机制的中文文本蕴含识别方法
摘要将注意力机制应用于中文文本蕴含识别研究,提出了一种基于混合注意力机制的中文文本蕴含识别方法。为使模型能捕获文本间更丰富的语义信息,利用混合注意力机制获取文本词语级别和句子级别的语义信息,将不同级别的语义信息进行融合后对文本蕴含关系进行识别,提高了模型识别中文蕴含关系的准确性。模型的输入阶段采用了 BERT 字向量,提高了模型的泛化能力。该方法在 CCL2018( 第十七届中国计算语言学大会) 中文文本蕴含识别测评任务验证集上准确率达 80. 38% ,实验结果表明了该方法的有效性。模型原创 2021-07-30 19:40:13 · 590 阅读 · 0 评论 -
吴恩达深度学习笔记 最全最详细!这一篇足够了!
为了方便学习深度学习课程,转载一个吴恩达老师的一个深度学习笔记,转载的网站是下面这个 https://blog.csdn.net/red_stone1/article/details/80207815 从去年8月份开始,AI界大IP吴恩达在coursera上开设了由5们课组成的深度学习专项课程,掀起了一股人工智能深度学习热潮。这里附上deeplearning.ai的官网: deeplearning.ai 关于该深度学习专项课程,本人非常推荐!它对于理解各种算法背后的原理非常有帮助,同时提供了大转载 2021-07-27 21:44:40 · 15341 阅读 · 2 评论 -
OCNLI数据集(直接白嫖)
https://github.com/CLUEbenchmark/OCNLI原创 2021-06-23 20:35:38 · 688 阅读 · 0 评论 -
the file size exceeds configured limit code insight features are not availab
加上这个:idea.max.intellisense.filesize=9999999999相当于100M然后重启pycharm就可以了原创 2021-06-13 09:02:19 · 496 阅读 · 0 评论 -
anaconda创建虚拟环境
base是原始的大环境,左键点击箭头。或者点击这里直接进来输入命令:conda create -n 环境名字 python=版本号这里填写y这样就创建好了原创 2021-06-11 08:02:58 · 183 阅读 · 2 评论 -
cannot import name ‘to_categorical‘
报错如下:应该是版本留下的坑把头改成这样from keras import utils as np_utils然后下面用的时候这样np_utils.to_categorical()原创 2021-06-10 08:42:00 · 1356 阅读 · 0 评论 -
[NLP]小白看得懂的word2vec
这篇笔记参考了知乎大佬穆文的文章,之前林林总总看了一些 算法,总觉得不系统,穆文大佬的文章点透了很多。今天我要揭开Word2vec的神秘面纱直窥其本质相信我,这绝对是你看到的最浅白易懂的 Word2vec 中文总结1 正文你会在本文看到:提纲挈领地讲解 word2vec 的理论精髓学会用gensim训练词向量,并寻找相似词你不会在本文看到神经网络训练过程的推导hierarchical softmax/negative sampling 等 trick 的理论和实现细节1.1. 什么是原创 2020-11-18 20:56:26 · 399 阅读 · 0 评论 -
自然语言推理语义相似度
自然语言推理作为自然语言理解的一个重要组成部分,在整个自然语言理解中扮演着重要的角色,接下里我将对自然语言推理的现状做一简单总结,以下内容是我的小组分享的记录版。自然语言推理简介Natural Language Inference自然语言推理主要是判断两个句子(Premise, Hypothesis)或者两个词之间的语义关系,为了保证模型能够集中在语义理解上,该任务最终退化为一个分类任务,目前类别主要是三分类(Entailment,Contradiction,Neutral)。目前对这三类有各种各样的原创 2021-03-19 13:39:53 · 530 阅读 · 0 评论 -
GPT-2中文文本训练及生成
前排感谢这个开源项目:https://github.com/Morizeyao/GPT2-Chinese原文链接:https://moluuser.com/archives/74/记录下运行以上项目的流程。运行环境导入语料由于使用单一文本进行训练,只需要把数据集放置在./data/train.json即可。如果需要合并txt文本,使用批处理type *.txt>>all.txt即可。模型训练python train_single.py --raw文本生成python ./ge转载 2021-05-03 19:38:32 · 8973 阅读 · 6 评论 -
最全NLP
https://github.com/fighting41love/funNLP原创 2020-12-10 17:28:35 · 79 阅读 · 0 评论 -
软注意力机制和硬注意力机制,以及seq2seq
软注意力机制就是虽然词语权重不同,但是在训练模型的时候雨露均沾,每个词语都用到,焦点词语的全重大。硬注意力机制是从存储的多个信息中只挑出一条信息来,可能是概率最大的那个词向量,seq2seq是word2vec(词嵌入)的Encoder-Decoder框架*********************************************************************************************************************************原创 2020-11-19 16:11:19 · 8476 阅读 · 0 评论 -
对word2vec的认识
Word2vec是Google的Mikolov等人提出来的一种文本分布式表示的方法,这种方法是对神经网络语言模型的“瘦身”, 巧妙地运用层次softmax(hierarchical softmax )和负采样(Negative sampling )两种技巧,使得原本参数繁多、计算量巨大的神经网络语言模型变得容易计算。Word2vec概括地说是包含了两种模型和两种加速训练方法:**(一)两种模型:CBOW(continuous bag-of-words)和Skip-Gram。**CBOW的目标是通过上下原创 2020-11-19 16:24:31 · 194 阅读 · 0 评论