[学习日志]深度学习-李宏毅 循环神经网络 RNN

最新推荐文章于 2023-03-10 15:11:08 发布
最新推荐文章于 2023-03-10 15:11:08 发布
阅读量94 收藏
点赞数
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gjh1716718326/article/details/112954078
版权
本文探讨了神经网络如何处理语境信息，从简单的1/N编码到RNN（循环神经网络）的概念，包括Elman和Jordan网络。接着介绍了双向RNN以及LSTM（长短期记忆）网络，LSTM通过其独特的门控机制解决了传统RNN的梯度消失问题，能够更好地捕捉序列数据中的长期依赖。
摘要由CSDN通过智能技术生成

应用举例 Slot Filling-对号入座

在这里插入图片描述
智能客服\智能订票等

1/N编码 - 把词变为向量的最简单方法

在这里插入图片描述

遇到了问题 - 语境

在这里插入图片描述
对于相同的输入Taipei,输出的结果必然是相同的.所以这个朴素的方法不能满足需求
我们希望的是,神经网络可以记住关键词之前的词(即某程度上的考虑语境)
也就是RNN

RNN的思想

在这里插入图片描述
神经元上次的输出会对本次运算造成影响.
也就是说,数据的输入顺序也会影响到训练结果
在这里插入图片描述

elman&jordan

在这里插入图片描述

双向RNN

在这里插入图片描述

LSTM(Long Short-term Memory-长短期记忆)

还是短期记忆,只不过比较长(注意横杠符号的位置就能理解)
在这里插入图片描述

三个门的开关,都是在学习过程中学出来的.每个门都可看作一个输入.
在这里插入图片描述
Zi的激活函数f,一般选用sigmoid.因为(0,1)能很好的对应门的开关程度.
在这里插入图片描述

在这里插入图片描述
这四个输入,其实都是从输入来的.(上图是比较原始的网络和LSTM的对比)
根据不同的输入,更新权证,门的开关就会有不同.
可以看到,参数量明显变多了.

在这里插入图片描述
在这里插入图片描述
LSTM的连结示意图。实际情况比讲的还要复杂一些

烫烫烫烫的若愚
关注
[学习日志]深度学习-李宏毅 RNN 第二讲
gjh1716718326的博客
01-22 155
LSTM的训练过程 首先要保证训练集的顺序是有意义的(比如语义训练) 优化器也是用梯度下降,但是为了计算方便,发明了BP算法的进阶版本—BPTT 但是这里没有细讲，反正到时候都是直接调用的，大致和BP差不多 RNN的训练和一般网络不太一样，RNN的损失值对于参数的变化是非常陡峭的。 那么在训练时会有两种情况发生：踩在平原上 or 踩在悬崖上 踩在平原上，梯度很小，只能盲目Update，如果凑巧跨过悬崖的话Loss会剧烈变化 踩在悬崖上，梯度很大，很可能步子太大扯到蛋 那么要怎么解决这个问题呢？—Cl
求数据中的最大值和最小值
05-06
用汇编语言编程，给出若干个数据，求其中的最大值和最小值，并显示出来
【C语言】循环练习1 输入一个正整数n，然后输入n个整数，输出这n个整数中大于10的数字的个数和总和
weixin_49937295的博客
11-26 1万+
#【C语言】循环练习1 描述： 输入一个正整数n，然后输入n个整数，输出这n个整数中大于10的数字的个数和总和 输入： 一个正整数n，然后是n个整数 输出 这n个整数中所有大于10的数字的个数以及大于10的数字的总和，两个数字中间用空格相隔，不要换行 样例输入： 3 12 5 2 样例输出： 2 32 [源码] #include <stdio.h> int main() { int n,i,j,k,l=0,m=0; scanf("%d",&n); for(i=1;i<=n;i++)
输入一个正整数n，然后输入n个正整数，最后输出这些数中最大的一个数
wsir的博客
11-25 8622
#include <iostream> #include <iomanip> #include <cstdio> #include <cmath> #include <string> using namespace std; int main(){ int n; //输入一个数，表示有几个数进行比较 cin >> n;...
输入整数n(0＜=n＜=1000),紧接着在下一行连续输入n个数。随后输出这一组数的最小值和最大值。
weixin_62676902的博客
11-09 1720
标题 输入整数n(0<=n<=1000),紧接着在下一行连续输入n个数。随后输出这一组数的最小值和最大值。 ##解决方法 根据题意输入n个数可以用循环思想，并用if语句进行比较判断，最后进行输出。代码如下 #include<stdio.h> int main(){ int n; double num,max,min; \\题中提示可以有小数和负数故用double。 scanf("%d",&n); if(n==1){ \\当只输入一个数时无最
输入一个正整数n，再输入n个正整数，将最小值与第一个数交换，最大值与最后一个数交换，输出交换后的n个数
weixin_63232222的博客
12-05 5740
输入一个正整数n，再输入n个正整数，将最小值与第一个数交换，最大值与最后一个数交换，输出交换后的n个数
台大-李宏毅-B站机器学习视频-课件.zip
09-30
台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器...
一天搞懂深度学习--李宏毅.zip
05-16
一天搞懂深度学习--台湾大学电机工程学助理教授李宏毅讲义pdf
深度学习-李宏毅
09-25
除了这些基础知识，李宏毅教授的讲义还会涵盖卷积神经网络（CNN）在图像识别中的应用，循环神经网络（RNN）及其变体如LSTM和GRU在序列数据处理中的应用，以及生成对抗网络（GAN）等高级主题。此外，他还可能介绍如何...
深度学习-李宏毅-English.pptx
05-15
优质的深度学习资料 一天搞懂深度学习
找出最小的值：输入一个正整数 n, 再输入 n 个整数，输出最小 值。试编写相应程序
klz
05-28 2万+
引入 找出最小的值：输入一个正整数 n, 再输入 n 个整数，输出最小 值。试编写相应程序。 分析 思考：之前我们都是在循环输入正整数，但是这里需要比较前后两个数的大小，怎么办？ 我们需要在循环之外先输入一个数设置为最小数，循环里面的<=要改为<,在与循环里面输入的数比较换值找出最小数 代码 #include <stdio.h> int main () { /** 找出最小的值：输入一个正整数 n, 再输入 n 个整数，输出最小 值。试编写相应程序。 */ //
C程序----求最小值，输入一个正整数n，再输入n个整数，输出最小值
naturly的博客
04-10 1万+
#include <stdio.h> #include <stdlib.h> #define N 10 int main() { int min=0,num ,i=0,n,j; int arr[N]; scanf("%d",&n); while(n) { scanf("...
输入n个正整数，计算出n个数字中的最大值与最小值以及最大值和最小值的和。
m0_74223128的博客
11-19 1427
##我认为while循环很适合这个，并没有那么复杂。
从键盘输入一个自然数 n，在输入 n 个自然数，求出这 n 个数的最大值 max和最小值 min。
最新发布
2301_76841700的博客
03-10 702
printf("请输入要输入数值的个数：\n");printf("请输入要进行比较的序列：\n");
C语言编程排序：输入一个正整数n,再输入n个整数，用选择法对这n个整数按从小到大的顺序排序后输出。
Sconnie的博客
02-24 3万+
C语言编程排序：输入一个正整数n,再输入n个整数，用选择法对这n个整数按从小到大的顺序排序后输出。 例如： 输入：9 8 7 6 5 4 3 输出：3 4 5 6 7 8 9 选择排序的思想：选出最小的一个数与当前序列中的第一个数交换，再在余下的数字中选出最小的和第二个交换。 其中会有两层循环： 第一层循环： 一次遍历序列中的每一个元素； 第二层循环： 将第一层循环得到的当前元素依次与剩下的元素进行比较，符合条件的则进行交换。 代码如下： #include<stdio.h> int main(
输入一个正整数n,再输入n个整数，用选择法或冒泡法对n个整数进行从小到大排序...
weixin_42602726的博客
02-14 3970
这是一个排序算法问题。两种常见的排序方法是选择排序和冒泡排序。 选择排序的基本思想是：首先在未排序的数列中找到最小(大)元素，然后将其存放到数列的起始位置；接着，再从剩余未排序的元素中继续寻找最小(大)元素，然后放到已排序序列的末尾。以此类推，直到所有元素均排序完毕。 冒泡排序的基本思想是：比较相邻的元素。如果第一个比第二个大，就交换他们两个。对每一对相邻元素作同样的工作，从开始第一对到结尾的最后...
若要求输入一个整数n，然后输入n个正整数，输出这n个正整数的最大值。请画出流程图...
weixin_35753431的博客
01-05 1110
可以使用如下流程图来实现: 输入一个整数n 输入n个正整数 设置一个变量max_num为0 循环: a. 输入一个整数 b. 如果输入的整数大于max_num, 则将max_num设为当前输入的数 输出max_num 流程图如下: 输入n 输入数字amax_num=0 当 a<=n 时 输入数字b 如果b>max_num, 则max_num=b a=a...
若要求输入一个整数n，然后输入n个正整数，输出这n个正整数的最大值。请画出该问题解决的流程图...
weixin_35751194的博客
01-05 1803
好的，我会尽力用中文回答您的问题并画出流程图。 首先，我们需要输入一个整数 n，表示要输入的正整数的个数。 然后，我们需要输入 n 个正整数。我们可以使用循环来遍历所有的正整数，并将它们存储在一个列表中。 在循环结束后，我们可以使用内置函数 max() 来获取这 n 个正整数的最大值。 最后，我们可以输出最大值。 下面是流程图： 输入整数n 初始化变量 max_value = 0 初始化列表 nu...
pta--输入一个正整数n，再输入n个整数，输出其中的偶数。要求相邻数字中间用一个空格分开，行末不得有多余空格
热门推荐
qq_45856525的博客
10-25 3万+
问题 程序填空题 输入一个正整数n，再输入n个整数，输出其中的偶数。要求相邻数字中间用一个空格分开，行末不得有多余空格 正确答案 由题干知此题共有三个要求： 要求一：输出其中的偶数 要求二：相邻数字间要用空格隔开 要求三：行末不得有多余空格 各要求解决办法： 要求一解决办法：if（x % 2 == 0）就输出 否则不是偶数即不输出 要求二解决办法：因为我首先看到题中的char ch，就先入为主认为ch = ’ ';然而这样就进入了一种死循环，得不出正确答案。 要求三解决办法： 经过查找答案： 最后正确
李宏毅深度学习教程：入门神经网络与深度学习基础
教程内容包括深度学习的基本技术、神经网络的变体、训练深度神经网络的技巧以及深度学习的未来趋势等。教程通过丰富的图片和简单易懂的方式阐述了深度学习的核心概念。" 深度学习是当前人工智能领域的一个重要分支...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值