[机器学习入门] 李宏毅机器学习笔记-32 (Recurrent Neural Network part 1;循环神经网络 part 1)

最新推荐文章于 2024-05-20 20:55:05 发布
最新推荐文章于 2024-05-20 20:55:05 发布
阅读量3k 收藏 12
点赞数 4
分类专栏： 机器学习 机器学习入门 文章标签： 机器学习 神经网络 RNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/soulmeetliang/article/details/76358492
版权

[机器学习入门] 李宏毅机器学习笔记-32 (Recurrent Neural Network part 1;循环神经网络 part 1)

PDF VIDEO

Recurrent Neural Network

Example Application

这里写图片描述

slot 安装、放入、沟槽、插入…… 哇好多意思啊。
Slot Filling 就相当把关键字提溜出来放到相应的凹槽内，强迫症患者真舒服。

这里写图片描述

那么怎样将一个词表示成一个向量呢？方法有很多：

这里写图片描述

但是上述方法有个问题，有时候有的词汇不在词典中，这时候用other 或者 开头字母来表示他们，这就是Byund 1-of-N encoding。

这里写图片描述

好了，现在可以将表示出来的vector丢到一个network里，希望它输出一个几率。

最低0.47元/天 解锁文章
holeung
关注
  • 4
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习和深度学习 -- 李宏毅（笔记与个人理解）Day19
weixin_65403042的博客
04-17 863
和RNN比较起来, 强化了对整体序列的记忆；并且可以 认为的通过lable 训练出需要记忆的重点序列。需要注意的一点是 forget gate 的取值 ，应该交 remember gate 会好一些。是普通的network 也是两次激活函数吗？来吧 ，整个LSTM 最重要的ppt ，走动这个ppt 你就懂了LSTM的工作原理。这样应该可以，但是如果是一个很长的段落呢？图中的+ 代表我的输入；好吧导致我停更新两天的DL，我去如坐针毡啊。正常的输入和三个控制门讯号的输入。考量时间顺序的那个kaggle！
LSTM(李宏毅讲解)
我亦无他，唯手熟尔
06-30 827
1.首先一个特征输入，会有一个输入门来控制能不能输入，然后在学习之后要输出的时候，需要有一个输出门来控制要不要输出，在这个记忆细胞内部，会有一个遗忘门来控制这个细胞要不要忘记信息。第三列x2和x3都是0，不操作，第四列x2等于1，则x1的4被写到记忆细胞（3+4=7），第五列x2和x3都是0，不操作，第六列x3等于1,输出记忆细胞的7，所以y等于7。5.ct-1就是cell,xt就是输入，下面四个绿色的就是前面提到的输入门控制，输出门控制，遗忘门控制。最上面蓝色的是记忆细胞，最开始里面是0。
卷积神经网络（Convolutional Neural Networks, CNN）的详细介绍
最新发布
m0_38012434的博客
05-20 773
进入二十一世纪后，随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被广泛应用于计算机视觉、自然语言处理等领域。卷积神经网络的核心在于其卷积层，通过滑动窗口的方式实现位置不变性，从而减少了对位置变化的敏感性。此外，卷积层还可以通过参数共享的方式减少模型的参数数量，从而降低模型的复杂性和过拟合的风险。总之，卷积神经网络凭借其强大的特征提取和学习能力，在多个领域都展现出了卓越的性能和广泛的应用前景。随着技术的不断发展和完善，相信卷积神经网络将在更多领域发挥更大的作用。
深度学习-神经网络-循环神经网络（一）：RNN（Recurrent Neural Network，循环神经网络；1990年）
热门推荐
u013250861的博客
07-21 1万+
为什么有了神经网络还需要有循环神经网络？在普通的神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更容易学习，但在一定程度上也减弱了神经网络模型的能力。特别是在很多现实任务中，网络的输出不仅和当前时刻的输入相关，也和其过去一段时间的输出相关。此外，普通网络难以处理时序数据，比如视频、语音、文本等，时序数据的长度一般是不固定的，而前馈神经网络要求输入和输出的维数都是固定的，不能任意改变。因此，当处理这一类和时序相关的问题时，就需要一种能力更强的模型。循环神经网络（Recurrent Neural Net
现代循环神经网络：双向循环神经网络
qq_51957239的博客
03-14 2245
双向循环神经网络（Bidirectional Recurrent Neural Network，简称BRNN）是一种能够处理序列数据的神经网络，它能够在一个序列数据中同时考虑过去和未来的信息。与传统的循环神经网络（RNN）不同的是，BRNN在每个时间步上使用两个独立的循环结构，一个用于从过去到未来的传递信息，另一个用于从未来到过去的传递信息。
【PyTorch】双向循环神经网络/Bidirectional Recurrent Neural Network
积流成河
04-21 3112
1 模型描述 双向循环神经网络的特点是，当前时刻的输出不仅和之前的状态有关，还可能和未来的状态有关系，也就是同一层节点之间的信息是双向流动的 与一般的循环神经网络相比，在代码上改动不多，调用的函数仍是nn.LSTM，只是函数参数bidirectional设置为True，而隐层分成forward layer和backward layer，分别进行两个不同时间方向的信息传递，因此，隐层节点数翻倍 解决的问题是MNIST手写数字分类 2 具体代码 import torch import torch.nn a
循环神经网络(Recurrent Neural Network)
醉蕤的博客
08-24 922
循环神经网络(Recurrent Neural Network)
【李宏毅机器学习笔记】9、卷积神经网络（Convolutional Neural Network，CNN）
01-20
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient ...【李宏毅机器学习笔记】9、Convolutional Neural Network（CNN） ——————
台大-李宏毅-B站机器学习视频-课件.zip
09-30
台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器...
视频学习笔记——李宏毅机器学习——P1，2
09-12
深度学习是机器学习中的一个重要子领域，其灵感来源于人脑神经网络的工作原理。它通过构建深层神经网络，模拟大脑神经元之间的连接，以解决复杂的学习问题。深度学习在图像识别、语音识别、自然语言处理等领域取得了...
李宏毅机器学习笔记
01-18
李宏毅机器学习笔记，文档文件，笔记全面，总结充分，仅供学习
Generating Sequences With Recurrent Neural Networks（英文原版）
07-04
一篇较好的描述seq2seq模式的英文资料。This paper shows how Long Short-term Memory recurrent neural net- works can be used to generate complex sequences with long-range struc- ture, simply by predicting one data point at a time. The approach is demonstrated for text (where the data are discrete) and online handwrit- ing (where the data are real-valued). It is then extended to handwriting synthesis by allowing the network to condition its predictions on a text sequence. The resulting system is able to generate highly realistic cursive handwriting in a wide variety of styles.
Improvement of Bidirectional Recurrent Neural Network
04-01
Improvement of Bidirectional Recurrent Neural Network for Learning Long-Term Dependencies
李宏毅老师课件整合
12-17
包包含李宏毅老师的机器学习所有课件，都是在李宏毅老师个人主页下载整理的，建议配合B站李宏毅老师的Machine Learning 视频一块使用。
Recurrent Neural Networks for Prediction(pdf)
10-15
Recurrent Neural Networks for Prediction offers a new insight into the learning algorithms, architectures and stability of recurrent neural networks and, consequently, will have instant appeal. It provides an extensive background for researchers, academics and postgraduates enabling them to apply such networks in new applications.
台大-李宏毅-B站机器学习视频-课件 -Backpropagation
01-08
台大-李宏毅-B站机器学习视频-课件-Backpropagation Backpropagation是机器学习中最重要的算法之一，用于训练人工神经网络。Backpropagation算法可以分为两个阶段：Forward Pass和Backward Pass。 Forward Pass ...
Recurrent Neural Networks 简述
yujianmin1990的专栏
07-29 4980
前言 RNN是序列数据处理时匹配度最好的模型，现在对当前几个重要的RNN模型做个简单梳理。 RNN RNN: Recurrent Neural Network，循环神经网络。我想，当XX当年把RNN结构构造出来时，一定是佩服自己的想象力的。RNN具有天然的时间深度，并且对任意的序列数据场景具有适应性，即当样本间具有相关性时非常适合用RNN来解决。而Forward Network则普遍假设...
RNN循环神经网络（recurrent neural network）
baochunlei1的博客
07-05 1476
自己开发了一个股票智能分析软件，功能很强大，需要的点击下面的链接获取： https://www.cnblogs.com/bclshuai/p/11380657.html 1.1 RNN循环神经网络（recurrent neural network） 1.1.1 RNN简介 RNN循环神经网络会循环的加入上一时刻的状态作为输入，得出下一时刻的输出。解决的是具有时序关联性的问题，例如股票趋势预测，需要上一时刻的股票价格输入作为下一时刻的输出，又比如输入预测，当你输入I amstu...
[2022]李宏毅深度学习与机器学习第四讲（选修）-RNN
weixin_45920982的博客
11-22 394
在做槽位填充时，需要对单词进行分类预测，这个任务可以用一个普通的神经网络来做，但是这样涉及到一个问题，就是当一个词输进来时只有一个结果，但是现实中同一个词在不同语境下可能扮演的角色不同。所以，如果神经网络能记住前面输入的内容，那么就有可能达到同一个词输入，因为上下文的不同而输出不同的目的。RNN就可以这么做RNN的大体架构，把中间结果传递给下一个输入，在图中颜色一眼的代表weight相同，也就是说这里贡献了权重。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值