【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（下））

最新推荐文章于 2022-11-05 00:46:18 发布
最新推荐文章于 2022-11-05 00:46:18 发布
阅读量259 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mr_Kingk/article/details/107673451
版权

这一节讲RNN如何learning:

下面讲如何定义loss，举一个例子：

RNN同样可以用gradient descent来train：

因为同样的sequent在不同的时间点会被使用：

 

input(多个)-->output(一个)：

多对多：

出现叠词时，用CTC区分:

一些词的顺序可以被忽略：

encoder和decoder一起train：

RNN vs Structured Learning:

 

 

Mr_Kingk
关注
专栏目录
李宏毅机器学习笔记-12.1 循环神经网络（Recurrent Neural Network-RNN）- part 1
Memory
05-17 1038
Recurrent Neural Network(RNN) - 循环神经网络（part 1) 1 从一个例子说起 假设要做一个智能客服系统或者智能订票系统之类的，需要用到一个叫做 Slot Filling 的技术，举个例子，如果做一个人对智能订票系统说 ”I would like to arrive Taipei on November 2nd“。那么你的系统会有一些 Slot，在这里...
李宏毅机器学习笔记-12.3 循环神经网络（Recurrent Neural Network-RNN）- part 3
Memory
05-18 889
Recurrent Neural Network(RNN) - 循环神经网络（part 3) Gated RNN 0 前言 其实这节课的内容跟我其他这个系列的博客是不属于同一个课程的，但是因为是在 B 站看的视频，up 主可能不小心弄混了，于是我就也一起看了，多学点总没什么错。 虽然不是同一门课，但是确实是同一个老师，也是极其学习的内容，所以就当做一门课也没什么差别。这里给出这节课内容所...
李宏毅【课件PPT】
12-07
此压缩包包含李宏毅老师的机器学习所有课件，都是在李宏毅老师个人主页下载整理的，建议配合B站李宏毅老师的Machine Learning 视频一块使用，里面的公式最好推导一下，效果更佳！
台大李宏毅
weixin_41078740的博客
11-26 591
1：Regression-Case Study 为什么在Loss function中，只考虑对w的正则化，而不考虑对b的正则化？ 因为b是一条水平线，b对Loss function是否平滑几乎不产生影响。   1-Regression Demo Ada-Gradient时会详细讲解这个技巧：小的learning rate导致要很多次迭代才能达到最优解，大的learning rate有可能...
李宏毅-机器学习HW3
terky
08-24 1807
利用CNN解决7分类的问题，模型直接套用的是之前实验的简单模型，2convs,2maxpoolings,2Fc,softamx import tensorflow as tf from sklearn.model_selection import train_test_split import numpy as np import pandas as pd import cv2 # 修改为tr...
RNN CNN 机器学习
weixin_33916256的博客
05-22 193
CNN http://blog.csdn.net/darkprin... http://blog.csdn.net/darkprin... http://blog.csdn.net/darkprin... http://blog.csdn.net/u0130880... 深度学习官方 深度学习链接☆ http://lib.csdn.net...
李宏毅《机器学习》——分类：概率生成模型
Heitao5200的博客
03-16 366
盒子抽球问题 假设两个盒子，各装了5个球，还得知随机抽一个球，抽到的是盒子1的球的概率是P(B1)=2/3P(B_1) = 2/3P(B1​)=2/3，是盒子2的球的概率是P(B2)=1/3P(B_2) = 1/3P(B2​)=1/3。从盒子中蓝色球和绿色球的分配可以得到：在盒子1中随机抽一个球，是蓝色的概率为P(Blue∣B1)=4/5P(Blue|B_1) = 4/5P(Blue∣B1​)=...
李宏毅机器学习笔记-12.2 循环神经网络（Recurrent Neural Network-RNN）- part 2
Memory
05-17 670
Recurrent Neural Network(RNN) - 循环神经网络（part 2) 1 训练 RNN 1.1 定义 Loss 如上图中，每一个单词对应一个 Slot，将句子按顺序丢进 Network 中，产生一个输出 y，将每个 y 与预期的正确输出做 cross entropy，然后累加起来，就是最终的 Loss。（注意，顺序不能打乱）。 1.2 学习（le...
2021李宏毅机器学习笔记--9 Recurrent Neural Network
guoxinxin0605的博客
06-05 309
2021李宏毅机器学习笔记--9 Recurrent Neural Network摘要一、 RNN1.1 Slot Filling1.2 RNN二、 Deep RNN三、 RNN 变型3.1 Elman network3.2 Jordan network3.3 bidirectional RNN四、 LSTM五、 training RNN5.1 BPTT5.2 Training RNN的问题及原因5.3 解决方法5.4 GRU六、 RNN 实际应用6.1 电影评价总结6.2 文章关键词抓取6.3 语音辨识6
[机器学习入门] 李宏毅机器学习笔记-33 (Recurrent Neural Network part 2;循环神经网络 part 2)
Holeung blog
07-30 2528
[机器学习入门] 李宏毅机器学习笔记-33 (Recurrent Neural Network part 2;循环神经网络 part 2) PDF VIDEORNNLearning Target cost就是每一个时间点的output与reference的cross entropy的合，就是minimize的对象。 有了这个lost后，training要怎么做呢？ 不幸的是，RNN
李宏毅：deep learning for language modeling
jiaojiaolou的博客
05-20 561
1、language modeling 2、n-gram 3、neural network based language model 4、RNN-based LM 与NN不一样的是：NN是只看当前的input来得出output，RNN是根据之前所有的input来看当前的output。 eg：RNN中，要得到“知道”，它就要知道之前的所有的词汇来决定当前的output。...
李宏毅-深度学习Note（Lecture 0-2 Introduction Regression）
渣渣的夏天
10-02 547
李宏毅-深度学习Note 视频链接：机器学习-李宏毅(2019) Machine Learning 参考：李宏毅 深度学习19（完整版）国语】机器学习 深度学习 目录 P1ML Lecture 0 - Introduction of Machine Learning P2ML Lecture 1 - Regression - Case Study P3ML Lecture 1 - Regre...
李宏毅学习笔记30.GAN.01.Introduction of Generative Adversarial Network
老毛的博客
05-03 1368
文章目录简介GenerationBasic Idea of GANGeneratorDiscriminator二者的关系Algorithm语言描述版数学描述版例子：Anime Face GenerationGAN as structured learningStructured LearningStructured Learning面临的挑战Structured Learning Approach...
DNN训练技巧（Tips for Training DNN）
weixin_30682127的博客
12-26 740
本博客是针对李宏毅教授在Youtube上上传的课程视频《ML Lecture 9-1：Tips for Training DNN》的学习笔记。 课程链接 Recipe of Deep Learning 训练集上效果差 换激活函数New activation function 自适应学习率Adaptive Learning Rate 训练集上效果好的基础...
2021 神经网络压缩 （李宏毅
最新发布
linyuxi_loretta的博客
11-05 1554
首先，为什么需要对神经网络模型进行压缩呢？我们在之前的课程中介绍过很多大型的深度学习模型，但当我们想要将这些大模型放在算力比较小的边缘设备或者其他IoT设备里面，就需要对大模型进行压缩。Lower latency：低时延 Privacy：私密性介绍5个网络压缩的方法，我们只考虑算法（软件）层面，不考虑硬件层面的解决方法。
课程向：深度学习与人类语言处理 ——李宏毅，2020 (P15)
阿芒Aris的博客
08-25 1269
在本篇开始我们继续讲解 Text-to-Speech (TTS) Synthesis* 语音合成，输入文字产生声音，我们会从四个方面来讲：P14讲解1 和 2，而本篇P15将讲解 3 和 4 1 TTS before End-to-End ：在端到端技术之前TTS是怎么做的 2 Tacotron: End-to-end TTS ：硬train一发的时代 3 Beyond Tacotron ：硬train一发的后时代 4 Controllable TTS
台湾大学李宏毅机器学习作业1、作业2、作业3详解及源码
热门推荐
河洛空间
05-24 1万+
作业1：线性回归预测PM2.5 https://www.cnblogs.com/HL-space/p/10676637.html 作业2：Logistic回归二分类 https://www.cnblogs.com/HL-space/p/10785225.html 作业3：基于卷积神经网络的面部表情识别 https://www.cnblogs.com/HL-space/p/10888556...
[机器学习入门] 李宏毅机器学习笔记-15 （Unsupervised Learning: Word Embedding；无监督学习：词嵌入）
Holeung blog
06-16 3289
[机器学习入门] 李宏毅机器学习笔记-15 （Unsupervised Learning: Word Embedding；无监督学习：词嵌入） PDF VIDEOWord Embedding Word Embedding 是前面讲到的dimension reduction一个很好的应用。 1-of-N Encoding，是把所有的word用一个向量表示，每个向量都不一样，我们没办法
李宏毅：RL and GAN for sentence generation and chat-bot
jiaojiaolou的博客
06-05 702
1、review 1）chat-bot 2）encoder 把之前的information另做encoder，目前的这句话单独做encoder，再把两者合并，放入generator。 3）generator 4）training generator 训练的时候input的是reference。condition from encoder不是decoder 2、RL...
李宏毅机器学习课程笔记：从深度学习到卷积神经网络
"李宏毅的机器学习课程笔记涵盖了从基础的回归分析、梯度上升算法，到分类问题、反向传播、卷积神经网络（CNN）、半监督学习、无监督学习以及线性模型等多个核心主题。这些内容构成了深度学习和机器学习的基础理论与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值