自然语言处理
文章平均质量分 85
FrenchOldDriver
这个作者很懒,什么都没留下…
展开
-
通过torch.nn.init更改模型初始化参数
比如模型如下:class Net(nn.Module): # 初始化定义网络的结构:也就是定义网络的层 def __init__(self): super(Net,self).__init__() self.layer1 = nn.Sequential( nn.Conv2d(3,6,kernel_size=5,stride=1,padding=0), # 激活函数原创 2022-05-21 14:34:12 · 744 阅读 · 0 评论 -
NLP word embedding汇总
Word Embedding 词嵌入,从字面意思理解其实不是很好懂,他本质是一个向量化Vectorization的过程,一个把文字文本转化成数字形式的方式。这样模型才能够处理和训练文本。比如我有一句话I love you, 最简单的翻译成向量,那就是[0,1,2],因为我的词库里暂时只有这三个词。接下来我想说I hate you,其中hate是新词,其他两个是旧词,那就是[0,3,2], 而hate是词典里的新词,所以他的编号也是放在最后。当这个词库越来越大,比如有1万个词了,就像字典一样,基本每一句话原创 2021-06-20 14:55:57 · 987 阅读 · 0 评论 -
Pytorch实现RNN, GRU, LSTM模型
文章目录RNN参数代码GRU公式代码LSTM公式代码如题,几个经典的NLP模型,Pytorch实现也比较简单,复杂的模型可以通过他们堆叠而成,比如encoder decoder这些。RNN首先是最简单的RNN,他的模型最简单,就是当前时刻的input, 和上一时刻的hidden state,分别和一个W参数相乘,然后经过一个tanh门即可。还可以加上偏置项bhb_hbh,在pytroch官方文档中,偏置项写了两个,但实际上用一个表示即可。参数可以设置的参数:input_size : 输入x原创 2021-06-10 16:35:02 · 1947 阅读 · 0 评论 -
Attention的矩阵表示及理解
说到attention这里不再过多赘述,首先我们有encoder hidden state的一个序列: h1,h2,...hNh_1, h_2, ...h_Nh1,h2,...hN然后有 ttt 时刻的decoder state sts^tst。每次用所有的encoder hidden state去和当前位置的decoder state相乘对于ttt时刻而言的attention score就是用et=[h1Tst,h2Tst,...,hNTst]e^t = [h_1^Ts^t, h_2^Ts^原创 2021-06-06 23:22:17 · 2580 阅读 · 0 评论 -
论文导读:TOWARDS END-TO-END SPOKEN LANGUAGE UNDERSTANDING
这篇文章是来自大神Yoshua Benjio的,值得一读,研究对象是只基于语音spoken,而非文字的自然语言理解,链接在这。0. Abstract大概说了一下什么是NLU, 然后说他们的end-to-end的学习系统可以很好的分类spoken language。1. IntroductionSLU(Spoken Language Understanding) 近年来发展好,各大厂商都需要,其主要分为三个任务:Domain classification,Intent Detection(以下简称ID原创 2021-05-09 17:49:13 · 584 阅读 · 0 评论 -
论文导读:A Diversity-Promoting Objective Function for Neural Conversation Models
0. Abstract部分0.1 用于生成对话的Seq2Seq NN(序列到序列神经网络模型)倾向于产生安全,平常的反应(例如,我不知道,任何问题都能这么回答)而不考虑输入如何。我们发现使用传统的目标函数,即输出的可能性(响应)给定的输入(消息)不适合回复生成任务(Response generation task)。 因此,我们建议使用最大相互信息(MMI)作为神经模型中的目标函数。 实验结果表明,提出的MMI模型可产生更加多样化,有趣且适当的回复,从而在两个会话数据集和人工评估中的BLEU得分中获原创 2021-05-08 16:12:56 · 434 阅读 · 0 评论 -
非监督学习+NLTK实现基于摘要的论文分类
所需要的技术:聚类分析-Hierarchical Clustering自然语言处理中的tokenization ,stemming,TFIDF数据集链接论文分类数据集(5.16日,刚上传数据,可能还看不到)首先说一下Tfidf其中TF是词频(Term Frequency)的意思,指的是某一个词语在给定文件中的频率IDF指的是逆向文件频率(Inverse Document Frequency)是一个词语普遍重要性的度量。某一特定词语的idf,可以由总文件数目除以包含该词语之文件的数目,再将得到的原创 2020-05-16 21:29:58 · 486 阅读 · 0 评论