NLP
文章平均质量分 83
头发没了还会再长
你不需要很厉害才开始,但你要开始才能很厉害
展开
-
NLP自然语言处理——04.Attention的实现机制
在普通的RNN结构中,Encoder需要把一个句子转化为一个向量,然后在Decoder中使用,这就要求Encoder把源句子中所有的信息都包含进去,(比如,输入一片文章等长内容),当然我们可以使用更深的RNN和大多的单元来解决这个问题,但是这样的代价也很大。为此,Bahdanau等人在2015年提出了Attention机制,。就像我们自己看到一幅画,我们能够很快说出画的主要内容,而忽略画中的背景,因为我们注意的,更关注的往往是其中的。通过这种方式,在我们的RNN中,我们有通过LSTM或者是GRU。原创 2022-10-06 15:58:17 · 494 阅读 · 0 评论 -
LSTM自然语言处理——03.使用LSTM完成文本情感分类
在前面()使用了embedding去实现toy级别的文本情感分类,那么现在我们在这个模型加上LSTM层,观察分类效果。为了达到更好的效果,对之前的模型做如下修改。原创 2022-10-05 08:46:19 · 358 阅读 · 0 评论 -
NLP自然语言处理与神经网络——02.循环神经网络(LSTM和GRU)+api使用
LSTM和GRU都是由torch.nn提供input_size:输入数据的形状,即embedding_dim:隐藏层h的维数num_layer:即RNN中的LSTM单元的层数batch_size:默认值为False,输入的数据需要[seq_len, batch, feature],如果为True,则为[batch, seq_len, feature]dropout:dropo的比例,默认值为0,dropout是一种训练过程中让部分参数随机失活的一种方式,能够提高训练速度,同时能够解决过拟合。原创 2022-10-04 10:39:59 · 742 阅读 · 0 评论 -
NLP自然语言处理与神经网络——01.embedding实现(理论+实践)
为了对前面的word_embedding这种常用的文本向量化进行巩固,这里完成一个文本情感分类的案例点我这是一条包含了五万条流行电影的评论数据,其中训练集25000条,测试集25000条,数据格式如下:下图分别为名称和评论内容,名称包含两部分,分别是序号和情感评分,(1-4为neg,5-10为pos)原创 2022-10-03 14:52:03 · 3245 阅读 · 2 评论