学习提醒 | 如何训练RNN？解决梯度消失与梯度爆炸问题！

点击左上方蓝字关注我们

今天就要进入RNN的终章，每日一问：它们如何运行？应用在哪里？你学完了吗？????

顾名思义，循环即经常或重复出现，RNN就是对一组序列输入重复进行同样的操作。它可以应用在语言建模和文本生成、机器翻译、语音识别、生成图像描述、视频标记等领域，是最常用的神经网络之一。

那么，如何训练RNN呢？这节课上，李宏毅老师就会带你上手，了解反向传播、梯度消失与梯度爆炸。

通过学习，你将学会用clipping可以缓解梯度消失与梯度爆炸；LSTM可以用来解决梯度消失问题。

温馨提示：在简单RNN中随机初始化参数时使用sigmoid激活函数会比使用ReLU效果更好一些，但是使用单位矩阵初始化参数时ReLU激活函数会比sigmoid激活函数效果要好。

今日学习任务

学习

进行时

第12课-循环神经网络（三）

课程指路：

报名地址

还没有报名的同学，点击文末『阅读原文』或者扫码报名，跟上学习进度：

https://aistudio.baidu.com/aistudio/education/group/info/1978

???? 扫码进入学习中心????

进入QQ学习社群，开启机器学习之旅

跟着李宏毅老师学习，进击机器学习算法工程师～

飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础，是中国首个开源开放、技术领先、功能完备的产业级深度学习平台，包括飞桨开源平台和飞桨企业版。飞桨开源平台包含核心框架、基础模型库、端到端开发套件与工具组件，持续开源核心能力，为产业、学术、科研创新提供基础底座。飞桨企业版基于飞桨开源平台，针对企业级需求增强了相应特性，包含零门槛AI开发平台EasyDL和全功能AI开发平台BML。EasyDL主要面向中小企业，提供零门槛、预置丰富网络和模型、便捷高效的开发平台；BML是为大型企业提供的功能全面、可灵活定制和被深度集成的开发平台。

END