机器学习_李宏毅笔记简记5【RNN】

最新推荐文章于 2023-09-03 16:17:14 发布
最新推荐文章于 2023-09-03 16:17:14 发布
阅读量256 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43154149/article/details/114923438
版权

文章目录

Recurrent Neural Network (RNN)

Example Application： Slot Filling（把单词切割出来）

在这里插入图片描述

用前面学过的神经网络（Feedforward network）来做

在这里插入图片描述

How to represent each word as a vector?（如果表示一个单词？向量）

1-of-N encoding
在这里插入图片描述
Beyond 1-of-N encoding
Dimension for “Other” （增加一个”other“）
Word hashing（三个字母为一组）
在这里插入图片描述

产生的问题：如何判断这个地点是出发的地点还是到达的地点？（用带有”记忆“的神经网络来做，RNN）

在这里插入图片描述

Recurrent Neural Network (RNN)

The output of hidden layer are stored in the memory.（特别之处）

在这里插入图片描述
举例RNN如何运作：
在这里插入图片描述
在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述
变体：
Elman Network （上面学的）
Jordan Network （输出记忆，带有标签）
Bidirectional RNN （视野更广，考虑一前一后）
在这里插入图片描述
在这里插入图片描述

Long Short-term Memory (LSTM)

上面的都是simple RNN，这个LSTM才是终极版（4个input（这4个信号都是机器自己学的），1个output，激活函数用sigmoid，介于0~1，衡量门开闭程度）
在这里插入图片描述在这里插入图片描述

LSTM运作见PPT（略）
在这里插入图片描述

LSTM对比Original Network（参数量是 它的4倍，4个信号输入（都是要机器自己学习的））

在这里插入图片描述在这里插入图片描述

解释LSTM与RNN的关系（如何带有记忆性)

在这里插入图片描述在这里插入图片描述

现在更加复杂的LSTM（记忆的值，当前输出的值都加到下一个输入上来）

在这里插入图片描述

Don’t worry if you cannot understand this. Keras can handle it.
Keras supports “LSTM”, “GRU”, “SimpleRNN” layers

在这里插入图片描述

RNN如何训练（BPTT，本质上还是gradient descent，不过要考虑整体训练）

在这里插入图片描述在这里插入图片描述

RNN不好训练，会产生梯度爆炸（clipping）或者梯度消失（LSTM）问题

解释为什么会产生梯度爆炸的问题（蝴蝶效应）
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
解决梯度消失的问题（LSTM），并解释为什么可以（RNN每一次都会洗掉存的值，而LSTM只有在forget gate 关闭的时候才会洗掉）

在这里插入图片描述在这里插入图片描述

RNN的更多应用

在这里插入图片描述

多对一

情感识别
在这里插入图片描述
关键字抽取
在这里插入图片描述

多对多

语音辨识
在这里插入图片描述
在这里插入图片描述
机器翻译
在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述
序列转化为结构
在这里插入图片描述

Sequence-to-sequence Auto-encoder - Text

在这里插入图片描述

Sequence-to-sequence Auto-encoder - Speech

在这里插入图片描述在这里插入图片描述

Demo: Chat-bot

在这里插入图片描述

Demo: Video Caption Generation

在这里插入图片描述

Demo: Image Caption Generation

在这里插入图片描述

RNN进阶：Attention-based Model

在这里插入图片描述在这里插入图片描述

应用举例：

Reading Comprehension
在这里插入图片描述
Visual Question Answering
在这里插入图片描述在这里插入图片描述

Speech Question Answering
在这里插入图片描述
在这里插入图片描述

Deep & Structure（略）

别人优秀的笔记

LeeML-Notes

20年课程网页

【2020春季】李宏毅机器学习(全) - 视频学习

深度学习入门咨询
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
李宏毅2020机器学习_课堂作业.zip
04-12
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的...
台大_李宏毅PPT_机器学习
10-28
本资源是机器学习 台大教授 李机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。宏毅的授课配PPT讲稿。
李宏毅RNN笔记
solejay
04-23 363
文章目录RNNLSTMRNN 的训练RNN 应用 RNN 对于 Slot Filling 问题，需要识别出句子中的某些特定词，比如我要在十一月二号到台北去，识别出目的地是台北，时间是十一月二号。对词进行编码的方法可以采用 1-of-N encoding 和 word hashing 或者其他高级方法，词语表征成向量后丢到神经网络里判断词属于每个 slot 的概率，比如台北属于目的地的概率和属于时间...
李宏毅-机器学习-RNN-笔记
qq_41789315的博客
10-03 879
李宏毅-机器学习课程-笔记
【Recurrent Neural Network(RNN)】循环神经网络——李宏毅机器学习阅读笔记
久蔡合子
12-02 959
RNN LSTM
【DL】1 RNN入门——李宏毅机器学习课程RNN笔记
YoungSeng's Blog
03-04 721
Recurrent Neural Network1. 应用实例2. RNN基本概念 1. 应用实例 槽位填充 通过Feedforward网络解决槽位填充问题？ 输入：一个单词(每一个词都用一个向量表示) 输出：属于槽的输入字的概率分布情况 注：如何将每个单词表示为一个向量？ 1-of-N encoding 矢量是词库大小，每一个维度都对应着词典中的一个词，该词的维度为1，其他维度为0。 Beyond 1-of-N encoding Dimension for “Other” Word hashing
李宏毅机器学习笔记：RNN循环神经网络
最新发布
夏之微风的博客
09-03 1402
第3个输入为[2,2]，结合前一个memory的输入为[6,6]，这个时候hidden layer的输出为[16,16]，output为[32,32]。这个时候结合前一个memory的输出[2,2]，hdden layer的输出为[6,6]，output为[12,12]。举例来说，我们输入的第一个向量为[1,1]，则hidden layer的输出为[2,2]，先被储存起来，输出为[4,4]。这样，将词汇向量化之后，我们指导，网络的输入为一个个的词汇向量，网络的输出则为：y1表示词汇属于。
HW_1_李宏毅机器学习作业_thatnn8_李宏毅_
10-01
5. 机器学习模型：根据作业内容，可能会涉及到一些基本的机器学习模型，如线性回归、逻辑回归、决策树、随机森林、支持向量机等。学生需要理解这些模型的工作原理，并能用Python实现模型的训练和预测。 6. 模型评估...
HW_3_李宏毅2020机器学习作业_李宏毅作业3_李宏毅hw3_李宏毅作业三_saledzj_
10-01
《李宏毅2020机器学习作业3：Python实现深度学习基础》 在本次作业中，我们将深入探讨李宏毅教授2020年机器学习课程中的第三部分，主要聚焦于使用Python语言进行深度学习的基本操作。这个作业旨在帮助学生理解和...
李宏毅机器学习笔记
01-18
李宏毅机器学习笔记，文档文件，笔记全面，总结充分，仅供学习
Sequence to Sequence模型理解
01-20
借鉴博客：几张图彻底搞定Seq2Seq Sequence to Sequence模型由两部分组成：Encoder和Decoder。在机器翻译过程中，假设要将汉语翻译成英语，首先，我们需要两个词典，一个是汉语的词语与数字（index）的一一对应的词典，另一个是英语单词与数字（index）的一一对应的词典，这样，就可以由词语得到数字，也可以由数字得到词语。 1.Encoder部分：对于输入的一句汉语，将其切割成汉语词语，通过查汉语词典得到词语对应的数字，将每个数字转换为一个固定长度的向量，作为循环神经网络RNN的输入，例如X1,X2,X3X_1,X_2,X_3X1​,X2​,X3​，先输入X1X
李宏毅学习笔记13.RNN Part I
老毛的博客
06-10 1069
监督学习先放一下，先来学习RNN，本节课先从一个订票系统实例出发，得到前馈神经网络在相同输入只能相同输出的缺点，引入了RNN来解决这个问题。接下来讲解了RNN常见的几种结构，尤其重点讲解了LSTM，并给出了LSTM计算实例
李宏毅机器学习笔记14（RNN）
aomangyu0290的博客
08-26 231
Recurrent Neural Network (RNN) 1、什么是RNN 2、LSTM 　　一、什么是LSTM 　　二、LSTM框架 3、RNN分析 RNN 1、什么是RNN RNN可以处理序列的信息（即前面的输入对后面是有关系的） 　　下面通过一个订票系统的例子去说明什么是RNN： 　　1）、目标：假设我们现在做这么一个事情，说下面一句话，...
李宏毅深度学习笔记（十二）RNN(循环神经网络)
comli_cn的博客
02-18 519
参考. 参考.
李宏毅机器学习笔记-12.1 循环神经网络（Recurrent Neural Network-RNN）- part 1
Memory
05-17 1022
Recurrent Neural Network(RNN) - 循环神经网络（part 1) 1 从一个例子说起 假设要做一个智能客服系统或者智能订票系统之类的，需要用到一个叫做 Slot Filling 的技术，举个例子，如果做一个人对智能订票系统说 ”I would like to arrive Taipei on November 2nd“。那么你的系统会有一些 Slot，在这里...
2020李宏毅机器学习笔记— 9. Recurrent Neural Network（RNN循环神经网络）
weixin_44790306的博客
06-21 732
文章目录摘要Example ApplicationSlot FillingRecurrent Neural Network（RNN） 摘要 Example Application Slot Filling Recurrent Neural Network（RNN）
2022李宏毅机器学习深度学习学习笔记第二周--RNN
qq_45612705的博客
05-01 1121
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录摘要一、RNN（recurrent neural network）slot filling（槽填充）bidirectional RNNLong Short-term Memory(LSTM)二、RNN的详细讲述backpropagation through time (BPTT)RNN application总结 摘要 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都.
RNN review笔记
dream2009gd的专栏
01-06 1227
与其他算法的区别，其他算法考虑样本独立，rnn考虑样本之间有时序，一个单词输入可以作为一个时刻。 一个batch更新权值一次，batch可以理解为句子的长度。 　　首先来看RNN和普通的feed-forward网络有什么不同。RNN的网络框架如下：  　　 　　由结构图可以知道，RNN和feed-forward相比只是中间隐含层多了一个循环的圈而已，这个圈表示上一次隐含层的
sequence to sequence模型
weixin_30381317的博客
05-16 1497
sequence to sequence模型是一类End-to-End的算法框架，也就是从序列到序列的转换模型框架，应用在机器翻译，自动应答等场景。Seq2Seq一般是通过Encoder-Decoder（编码-解码）框架实现，Encoder和Decoder部分可以是任意的文字，语音，图像，视频数据，模型可以采用CNN、RNN、LSTM、GRU、BLSTM等等。所以...
李宏毅机器学习课程笔记：从深度学习到卷积神经网络
"李宏毅的机器学习课程笔记涵盖了从基础的回归分析、梯度上升算法，到分类问题、反向传播、卷积神经网络（CNN）、半监督学习、无监督学习以及线性模型等多个核心主题。这些内容构成了深度学习和机器学习的基础理论与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值