RNN - LSTM-GRU


前言

为什么引入RNN?

对于传统的神经网络来说,一般输入是不带有时间序列的,比如说输入 学生身体的各个指标进行预测是否是是具有生长缓慢或者是快速的问题,这样的输入一般是固定的序列,并且之间是没有相互影响的。然而对于具有时间先后顺序的这些问题,比如说语音识别,生成语句等问题,这样的传统的神经网络并不能很好训练。

RNN

1.RNN网络结构

在这里插入图片描述
在这里插入图片描述

2.RNN的两个主要应用

一、用于建模表示句子
将句子通过RNN,在最后一个RNN隐藏层得到该句子的表示,其实就是类似于平常的得到一个特征向量。这里就是得到这个句子的表示的特征向量。
用途:得到一个句子的表示,我们可以后续使用判别器进行判别等。
在这里插入图片描述

二、用于表示句子的上下文
这个不同于上面的,这里是表示的句子的额外信息,得到句子的上下文信息。
用途:RNN表示句子的上下文信息,接下来可根据上下文使用语言模型预测下一个单词等。
在这里插入图片描述

3.RNN的两个主要应用对应的不同的Loss

对于这两种不同的应用,一个是在最后的RNN的隐藏层得到句子的表示,就是句子的特征向量。这个loss只用考虑最后的预测结果和真实的label之间的差距即可。
另一个是得到句子的上下文语义,在每一个RNN的隐藏层都是有输出的,这里的输出的loss都是要计算的,所以total loss是所有的loss加在一起。

4.针对Loss进行反向传播

在这里插入图片描述
我们以这张图为例,只考虑 一个无偏差项的RNN,S0是固定值,没有激活函数。
前向传播:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
而激活函数的图像是;
在这里插入图片描述
可以看出tanh'x都是小于等于1的,则如果说:
w取值0-1之间,t很大的话,tanh‘都小于等于1,则连乘多个tanh’ * W就会越来越小,在越靠近输入层的权重就会几乎为0,也急速hi几乎不更新,这就是梯度消失。
w取值很大,连乘多个tanh’ * W就会趋向于无穷大,梯度过大没导致更新幅度过大,可能会溢出,无法收敛,这就是梯度爆炸。

LSTM

总结

提示:这里对文章进行总结:

例如:以上就是今天要讲的内容,本文仅仅简单介绍了pandas的使用,而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

**注释:**这里的笔记是参考大神,大神讲解的十分透彻,自己学习了就想总总结自己以后经常来看,所以本文章不做任何的是商业用途,两个大神原文:
https://zhuanlan.zhihu.com/p/31781223

https://zhuanlan.zhihu.com/p/28687529

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
智慧校园整体解决方案是响应国家教育信息化政策,结合教育改革和技术创新的产物。该方案以物联网、大数据、人工智能和移动互联技术为基础,旨在打造一个安全、高效、互动且环保的教育环境。方案强调从数字化校园向智慧校园的转变,通过自动数据采集、智能分析和按需服务,实现校园业务的智能化管理。 方案的总体设计原则包括应用至上、分层设计和互联互通,确保系统能够满足不同用户角色的需求,并实现数据和资源的整合与共享。框架设计涵盖了校园安全、管理、教学、环境等多个方面,构建了一个全面的校园应用生态系统。这包括智慧安全系统、校园身份识别、智能排课及选课系统、智慧学习系统、精品录播教室方案等,以支持个性化学习和教学评估。 建设内容突出了智慧安全和智慧管理的重要性。智慧安全管理通过分布式录播系统和紧急预案一键启动功能,增强校园安全预警和事件响应能力。智慧管理系统则利用物联网技术,实现人员和设备的智能管理,提高校园运营效率。 智慧教学部分,方案提供了智慧学习系统和精品录播教室方案,支持专业级学习硬件和智能化网络管理,促进个性化学习和教学资源的高效利用。同时,教学质量评估中心和资源应用平台的建设,旨在提升教学评估的科学性和教育资源的共享性。 智慧环境建设则侧重于基于物联网的设备管理,通过智慧教室管理系统实现教室环境的智能控制和能效管理,打造绿色、节能的校园环境。电子班牌和校园信息发布系统的建设,将作为智慧校园的核心和入口,提供教务、一卡通、图书馆等系统的集成信息。 总体而言,智慧校园整体解决方案通过集成先进技术,不仅提升了校园的信息化水平,而且优化了教学和管理流程,为学生、教师和家长提供了更加便捷、个性化的教育体验。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值