NPL-自然语言处理-循环神经网络

本文介绍了自然语言处理中的循环神经网络(RNN),包括one-hot编码、RNN解决的标准神经网络问题、RNN的工作原理及其缺点。RNN在处理序列数据时允许信息的前后传递,但可能忽略后期信息。此外,还提到了不同类型的RNN应用,如多对多、多对一、一对一和一对多模式。
摘要由CSDN通过智能技术生成

1.one-hot

表示一个句子里面单个的词,第一件事是做一张词表,有时也称作词典,用one-hot来表示词典里面的每个单词

2.循环神经网络

标准神经网络的不好:①输入输出长度不同;②不能共享从文本的不同位置上学到的特征
循环神经网络:①在每一时间步中,循环神经网络传递一个激活值到下一时间步中用于计算;
②循环神经网络是从左向右扫描数据,同时每个时间步的参数也是共享的,下图表示的为参数。
在这里插入图片描述
缺点:只使用了这个系列中之前的信息来做出预测,如当预测输出3的没有用到后面的信息
参数:在这里插入图片描述
通过时间的反向传播:①定义损失函数(上图)②把前向传播的箭头反过来,用梯度下降法来更新参数(通过穿越时间反向传播)----递归
不同类型的循环神经网络
多对多
在这里插入图片描述
多对一(情感分类)

对文章进行润色处理,并进行微降重:“随着计算机技术的发展和不断更新,深度学习等算法得到了广泛的应用,利用情感分析,聚类,文本分类等算法来分析舆情,并在食品安全舆情事件上进行监控、分析和预测等技术处理,并在其技术上不断地优化,使得识别度,精确度都得到了提高,如运用信息预处理聚类算法以及中文NPL自然语言处理)情感极性分析算法,朴素贝叶斯算法等来加快有效信息的筛选和群众情绪极性信息的获取。其中文本分类模块是网络舆情监测系统中一个重要的模块,文本分类的效果直接影响了舆情监测的准确性和灵敏性。2019年,廖运春等学者提出基于加权Word2Vec和TextCNN的文本分类方法,通过融合TF-IDF加权方法有效地提高文本表示模型的文本信息涵盖量,使用卷积,池化等操作进一步提取特征,经过实验结果表明,对比传统的文本表示方法和基于循环神经网络文本分类模型,该方法达到了较好的分类效果。在预测领域,刘定一等学者针对单一预测模型预测精度不高和社交媒体对舆情走势影响较大的问题,提出了融合微博热点分析和长短期记忆神经网络(LSTM)的舆情预测方法,并设计由2个隐含层组成的MH-LSTM预测模型,将MH-LSTM模型用于舆情事件百度指数的定量预测中,通过实验证明了模型的正确性,证实了该预测模型拥有较好的预测效果。“
02-17
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值