NLP
文章平均质量分 84
Cheng_0829
这个作者很懒,什么都没留下…
展开
-
NLP之基于BERT的预测掩码标记和句间关系判断
【代码】NLP之基于BERT的预测掩码标记和句间关系判断。原创 2022-09-24 17:50:17 · 1895 阅读 · 1 评论 -
NLP之基于Transformer的句子翻译
【代码】NLP之基于Transformer的句子翻译。原创 2022-09-18 23:26:52 · 251 阅读 · 0 评论 -
NLP之基于Bi-LSTM和注意力机制的文本情感分类
为了实现注意力机制,我们将输入的原始数据看作键值对的形式,根据给定的任务目标中的查询值Query计算Key与Query之间的相似系数,可以得到Value值对应的权重系数,即注意力权重,之后再用权重系数对Value值进行加权求和,即可得到输出.我们使用Q,K,V分别表示Query,Key和Value.注意力机制在深度学习各个领域都有很多的应用.不过需要注意的是,注意力并不是一个统一的模型,它只是一个机制,在不同的应用领域有不同的实现方法。原创 2022-09-15 13:01:10 · 3337 阅读 · 1 评论 -
NLP之基于Seq2Seq和注意力机制的句子翻译
入门项目实验所选择的均为贪婪法O(∣V∣m)O(kn)原创 2022-09-14 16:35:25 · 506 阅读 · 0 评论 -
NLP之基于Seq2Seq的单词翻译
在RNN模型需要解决的问题中,有一类M to N的问题,即输入输出不等长问题,例如机器翻译和生成概述。这种结构又叫做,或者叫。原创 2022-09-12 15:49:20 · 475 阅读 · 0 评论 -
NLP之Bi-LSTM(在长句中预测下一个单词)
Bi-LSTM模型分为2个,输入序列分别以正序和逆序输入至2个LSTM模型进行特征提取,将2个输出向量进行拼接后形成的词向量作为该词的最终特征表达(因此底层维度是普通LSTM隐藏层维度的两倍)原创 2022-09-10 09:00:33 · 1153 阅读 · 0 评论 -
NLP之TextLSTM(预测单词下一个字母)
如果训练非常深的神经网络,对这个网络做从左到右的前向传播和而从右到左的后向传播,会发现输出y很难传播回去,很难影响前面的权重,这样的问题使得RNN常常出现局部效应,不擅长处理长期依赖的问题和梯度爆炸不同的是,梯度爆炸会使得参数爆炸,很容易就发现大量的NaN参数,因此可以很快地进行梯度修剪;但是梯度消失不仅难以察觉,而且很难改正。原创 2022-09-10 08:50:46 · 524 阅读 · 0 评论 -
NLP之TextRNN(预测下一个单词)
并非刚性地记忆所有固定⻓度的序列,⽽是通过隐藏状态来存储之前时间步的信息。原创 2022-09-08 23:39:31 · 1488 阅读 · 0 评论 -
NLP之基于词嵌入(WordVec)的嵌入矩阵生成并可视化
嵌入向量=嵌入矩阵∗onehot向量。原创 2022-09-05 22:57:10 · 1272 阅读 · 0 评论 -
NLP之基于logistic回归的文本分类
数据集下载: https://pan.baidu.com/s/1uFZlvegZ4OUvBft0auHqKw提取码:0829。原创 2022-09-04 19:49:43 · 1133 阅读 · 0 评论 -
NLP之基于TextCNN的文本情感分类
在文本处理中使用卷积神经网络:将文本序列当作一维图像。原创 2022-09-07 00:44:19 · 1756 阅读 · 2 评论