李宏毅《Deep Learning》学习笔记 - seq2seq

最新推荐文章于 2022-11-11 15:31:00 发布
最新推荐文章于 2022-11-11 15:31:00 发布
阅读量916 收藏 2
点赞数
分类专栏： 深度学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dupei/article/details/105256216
版权

Seq2Seq

视频：https://www.youtube.com/watch?v=ZjfjPzXw6og

回顾RNN

下面的 x 1 x^1 x1, x 2 x^2 x2, x 3 x^3 x3等input vector都是一组向量，RNN模块是同一个网络，只是在不同时间的使用。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在Naive RNN中，计算h和y的通用方法。
在这里插入图片描述
对比Naive RNN，LSTM可以视为将原先的h拆分为两个输入：c和h，其中，c的变化比较小，h的变化比较大
在这里插入图片描述
在LSTM中，使用h和x合并作为输入，计算出 z , z i , z f , z o z,z^i,z^f,z^o z,

最低0.47元/天 解锁文章
dupei
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
李宏毅【课件PPT】
12-07
此压缩包包含李宏毅老师的机器学习所有课件，都是在李宏毅老师个人主页下载整理的，建议配合B站李宏毅老师的Machine Learning 视频一块使用，里面的公式最好推导一下，效果更佳！
李宏毅-Deep Learning Tutorial-300页的PPT
09-26
注意：此为PPT，不是PDF格式。李宏毅-Deep Learning Tutorial-300页的PPT，这个PPT介绍了一些关于深度学习的知识，适合深度学习入门级阅读。
李宏毅seq2seq(RNN LSTM GRU seq2seq)
qq_43501578的博客
08-03 690
1.回顾RNN 对于RNN，要求隐藏状态的维度要相同。 RNN模块是同一个网络，只是在不同时间的使用。 对于RNN可以将中间层的输出作为下一层的输入，f1≠f2。 其它的计算以此类推。隐藏层的激活函数选用tanh函数，对于分类问题输出层选用softmax为激活函数。 2.LSTM c为记忆细胞，变化速度较慢，h为隐藏变量，变化较快。 长短期记忆的门的输入均为当前时间步输入Xt​ 与上一时间步隐藏状态Ht−1​ ，输出由激活函数为sigmoid函数的全连接层计算得到。如此一来，这3个门元素的值域均
deeplearning.ai学习seq2seq模型
weixin_30556959的博客
04-11 120
一、seq2seq架构图 seq2seq模型左边绿色的部分我们称之为encoder，左边的循环输入最终生成一个固定向量作为右侧的输入，右边紫色的部分我们称之为decoder。单看右侧这个结构跟我们之前学习的语言模型非常相似，如下： 唯一不同的是，语言模型的输入a<0>是一个零向量，而seq2seq模型decoder部分的输入是由encoder编码得到的一个固定向量。所以可以...
李宏毅老师机器学习课笔记-Seq2Seq
weixin_43113135的博客
05-24 212
李宏毅transformer学习总结（二）Seq2Seq Model
weixin_55672590的博客
10-13 433
在我的第一篇徐熙总结中，提出了self-attention机制，的基本原理和概念，这篇文章将会介绍Seq2Seq的model。 什么是Seq2Seq呢，就是你的输入是一串序列，输出也是一串序列，但是这串序列的个数与你的输入是没有直接关系的，比如说语音转文字，加入我们的输入是It’s a funny today，我们希望得到的输出是’今天真有趣‘，这个输入和输出是没有直接关系的。 Seq2Seq可以用来处理语音文字的转换、实现多分类任务（就是一个object身上有很多标签，比如我’有头发‘，也’有睫毛‘之类，
台大李宏毅-深度学习2017-ppt.zip
03-06
深度学习ppt
Deep Learning Tutorial by 李宏毅 (Hung-yi Lee)
03-13
《李宏毅深度学习教程》是由台湾大学的著名教授李宏毅（Hung-yi Lee）提供的深度学习资源，因其深入浅出的讲解而备受推崇。这份教程覆盖了深度学习的基础到高级概念，对于想要理解并掌握这一领域的学习者来说，无疑...
李宏毅深度学习教程LeeDL-Tutorial-v.1.0.5
最新发布
01-10
《李宏毅深度学习教程LeeDL-Tutorial-v.1.0.5》是台湾大学《深度学习》课程的配套教学资料，由李宏毅老师及其团队编著。这份教程不仅包含理论知识，还注重实践方法，旨在帮助学习者掌握深度学习的基础与应用。教程在...
seq2sql ppt
01-09
Natural language toSQL
seq2seq模型
08-02
基于深度学习的聊天机器人源代码模型，主要是基于seq2seq模型
李宏毅老师课件整合
12-17
包包含李宏毅老师的机器学习所有课件，都是在李宏毅老师个人主页下载整理的，建议配合B站李宏毅老师的Machine Learning 视频一块使用。
台湾NTU李宏毅的Machine Learning (2017,Fall)，部分要点总结3：Auto-encoder，GAN，seq2seq相关，RNN等
想写就写咯
11-30 1150
文章目录RNN RNN
李宏毅2020机器学习深度学习(8) Seq2seq 作业详解
梆子井欢喜坨的博客
05-09 1446
对应课程笔记:Conditional Generation by RNN&Attention
机器学习 李宏毅 L35-Sequence Labeling Problem
okgagaga的博客
02-25 801
本小节具体学习如何进行structure learning的问题解决。 样例讲解——POS tagging 主要任务是标记句子中每一个词的词性，属于NLP的基本任务，可以用于文法分析或者是单词的感知。 Useful for subsequent syntactic parsing and word sense disambiguation, etc. Hidden Mark...
李宏毅视频整理
BO_GOD的博客
07-11 966
第一节机器学习概述 1.机器学习任务 梯度下降local minma和global minma不是最大问题 复杂的函数是由多个函数相加而成，单个函数可以用激活函数（例如sigmoid）加上不同的参数w,b,c来生成，最后将单个函数相加得到总体函数，这种实现就是线性层（Linear） 该节疑问：问什么不把神经网络变宽而是把它变深？ 反向传播 计算参数w对Loss的偏导等于w对该层输出的偏导乘以该层输出对Loss的偏导。 forward pass: 设当前层输出为z，z = wx+b,则w对于当前层的
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Transformer
热门推荐
知不足而奋进，望远山而前行
11-11 2万+
Transformer是一个用于解决Seq2Seq问题的模型，用来解决输出长度不确定的问题Transformer是一个利用自注意力机制来提高模型训练速度的深度学习模型它适用于并行化计算它本身模型的复杂程度较高它在精度和性能上都要高于之前流行的RNN循环神经网络。Seq2Seq模型是输出的长度不确定时采用的模型，这种情况一般是在机器翻译的任务中出现，将一句中文翻译成英文，那么这句英文的长度有可能会比中文短，也有可能会比中文长，所以输出的长度就不确定了。它的输入是一个序列，输出也是一个序列。
李宏毅深度强化学习：Q-Learning解析
"台湾李宏毅老师的深度强化学习PPT，涵盖了Q-Learning的基本概念、技巧以及连续动作的处理方法，对于理解强化学习中的评价函数（Critic）和策略（Actor）有很好的指导作用。" 在深度强化学习中，Q-Learning是一种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值