深度学习DL
文章平均质量分 93
深度学习
Zhao-Jichao
这个作者很懒,什么都没留下…
展开
-
卷积神经网络图像卷积池化尺寸计算器
卷积神经网络图像尺寸计算器 (CNN_ImageSize_Calculator)最近在研究图片超分辨率的问题,发现大量计算图像尺寸的问题。上网查找后发现网上大部分的神经网络可视化软件,像 TensorboardX,Netron 等均是侧重于可视化模型层中间的参数矩阵,并不太重视图像尺寸的问题。刚好自己又会一点 C# 可视化窗体程序的知识,就简单写了一个计算器,我给起的名字是“卷积神经网络图像尺寸计算器”。可视化界面如下图所示。共包含了 16 层,每层有三种计算方式,包括 Conv2d,Pool2d,D原创 2020-09-14 12:53:47 · 3447 阅读 · 1 评论 -
深度学习常用数据集介绍
数据集大全介绍深度学习的关键是训练。无论是从图像处理到语音识别,每个问题都有其独特的细微差别和方法。但是,你可以从哪里获得这些数据?现在你看到的很多研究论文都使用专有数据集,而这些数据集通常不会向公众发布。如果你想学习并应用你新掌握的技能,数据就成为一个问题。在本文中,我们列出了一些高质量的数据集,每个深度学习爱好者都可以使用并改善改进他们模型的性能。拥有这些数据集将使你成为一名更好的数据科学家,并且你将从中获得无可估量的价值。我们还收录了具有最新技术(SOTA)结果的论文,供你浏览并改进你的模型。原创 2020-07-29 18:10:35 · 15814 阅读 · 3 评论 -
顶级会议介绍
【计算机视觉】世界三大顶级会议介绍CVPRCVPR,英文全称Conference on Computer Vision and Pattern Recognition,中文全称是国际计算机视觉与模式识别会议。这个会议是由IEEE主办的一年一度的全球学术性顶级会议,会议的主要内容是计算机视觉与模式识别技术,每年CVPR都会有一个固定的研讨主题。会议一般在每年六月举行,大部分情况下会议都在美国西部地区举办,也会在美国中部和东部地区之间循环举办。ICCVICCV,英文全称International Con原创 2020-07-29 18:09:34 · 4852 阅读 · 1 评论 -
【AI】人工智能深度学习入门路线
人工智能入门路线Python视频:小甲鱼(b站)实战:慕课网(初识Python Python进阶)机器学习视频:吴恩达(Coursera/b站)实战:linyubobobo(慕课网)博客:CSDN博客深度学习视频:吴恩达(Coursera/b站)第一课:神经网络与深度学习第二课:改善深层神经网络:超参数调试、正则化以及优化第三课:结构化机器学习项目第四课:卷积神经网络第五课:序列模型博客:CSDN博客视频:CS230Pytroch资料:官方Tutorial英文中文翻原创 2020-07-02 20:00:36 · 5062 阅读 · 1 评论 -
大总结-深度学习全五课-Stanford吴恩达教授
大总结深度学习符号此笔记中使用的数学符号参考自《深度学习》和 Deep learning specialization常用的定义原版符号定义中, x(i)x^{(i)}x(i) 与 xix_ixi 存在混用的情况,请注意识别数据标记与上下上标 代表第 个训练样本上标 代表第 层数据集的样本数下标 输入数据下标 输出数据输入大小输出大小 (或者类别数)第 层的隐藏单元数神经网络的层数在循环中神经网络模型神经网络模型代表输入的矩阵代表第 个样本的列原创 2020-06-11 21:53:06 · 3320 阅读 · 0 评论 -
3.12 总结-深度学习第五课《序列模型》-Stanford吴恩达教授
习题第二周 - 自然语言处理与词嵌入第 151 题假设你为10000个单词学习词嵌入,为了捕获全部范围的单词的变化以及意义,那么词嵌入向量应该是10000维的。A.正确 B.错误第 152 题什么是t-SNE?A.一种非线性降维算法B.一种能够解决词向量上的类比的线性变换C.一种用于学习词嵌入的监督学习算法D.一个开源序列模型库第 153 题假设你下载了一个已经在一个很大的文本语料库上训练过的词嵌入的数据,然后你要用这个词嵌入来训练RNN并用于识别一段文字中的情感,判断这段文字的内容原创 2020-06-11 11:38:07 · 1098 阅读 · 0 评论 -
3.11 结论和致谢-深度学习第五课《序列模型》-Stanford吴恩达教授
结论和致谢 (Conclusion and thank you)恭喜你能走到这一步,在最后这节视频中,只想做个总结,并给你一些最后的想法。我们一起经历了一段很长的旅程,如果你已经学完了整个专业的课程,那么现在你已经学会了神经网络和深度学习,如何改进深度神经网络,如何结构化机器学习项目,和卷积神经网络。在最近的课程中还学了序列模型,我知道你为此非常努力,也希望你能对自己感到自豪,为你的努力,为你所做的这一切。我想向你传达一个对你来说可能很重要的想法。就是我觉得深度学习是一种超能力,通过深度学习算法,原创 2020-06-09 20:26:06 · 694 阅读 · 0 评论 -
3.10 触发字检测-深度学习第五课《序列模型》-Stanford吴恩达教授
触发字检测 (Trigger Word Detection)现在你已经学习了很多关于深度学习和序列模型的内容,于是我们可以真正去简便地描绘出一个触发字系统(a trigger word system),就像上节视频中你看到的那样。随着语音识别的发展,越来越多的设备可以通过你的声音来唤醒,这有时被叫做触发字检测系统(rigger word detection systems)。我们来看一看如何建立一个触发字系统。触发字系统的例子包括Amazon echo,它通过单词Alexa唤醒;还有百度DuerOS设原创 2020-06-09 20:24:18 · 1132 阅读 · 0 评论 -
3.9 语音识别-深度学习第五课《序列模型》-Stanford吴恩达教授
语音识别 (Speech Recognition)现今,最令人振奋的发展之一,就是seq2seq模型(sequence-to-sequence models)在语音识别方面准确性有了很大的提升。这门课程已经接近尾声,现在我想通过剩下几节视频,来告诉你们,seq2seq模型是如何应用于音频数据的(audio data),比如语音(the speech)。什么是语音视频问题呢?现在你有一个音频片段 xxx (an audio clip,x),你的任务是自动地生成文本 yyy 。现在有一个音频片段,画出来是原创 2020-06-09 20:20:08 · 1242 阅读 · 1 评论 -
3.8 注意力模型-深度学习第五课《序列模型》-Stanford吴恩达教授
注意力模型 (Attention Model)在上个视频中你已经见到了,注意力模型如何让一个神经网络只注意到一部分的输入句子。当它在生成句子的时候,更像人类翻译。让我们把这些想法转化成确切的式子,来实现注意力模型。跟上个视频一样,我们先假定有一个输入句子,并使用双向的RNN,或者双向的GRU或者双向的LSTM,去计算每个词的特征。实际上GRU和LSTM经常应用于这个,可能LSTM更经常一点。对于前向传播(the forward occurrence),你有第一个时间步的前向传播的激活值(a forwa原创 2020-06-09 20:14:04 · 1984 阅读 · 0 评论 -
3.7 注意力模型直观理解-深度学习第五课《序列模型》-Stanford吴恩达教授
注意力模型直观理解 (Attention Model Intuition)在本周大部分时间中,你都在使用这个编码解码的构架(a Encoder-Decoder architecture)来完成机器翻译。当你使用RNN读一个句子,于是另一个会输出一个句子。我们要对其做一些改变,称为注意力模型(the Attention Model),并且这会使它工作得更好。注意力模型或者说注意力这种思想(The attention algorithm, the attention idea)已经是深度学习中最重要的思想之一原创 2020-06-09 19:58:14 · 887 阅读 · 0 评论 -
3.6 Bleu得分-深度学习第五课《序列模型》-Stanford吴恩达教授
Bleu得分 (Bleu Score)机器翻译(machine translation)的一大难题是一个法语句子可以有多种英文翻译而且都同样好,所以当有多个同样好的答案时,怎样评估一个机器翻译系统呢?不像图像识别(image recognition),只有一个正确答案,就只要测量准确性就可以了。如果有多个不错的答案,要怎样衡量准确性呢? 常见的解决办法是,通过一个叫做BLEU得分(the BLEU score)的东西来解决。所以,在这个选修视频中,我想与你分享,我想让你了解BLEU得分是怎样工作的。假如原创 2020-06-09 19:48:19 · 1080 阅读 · 0 评论 -
3.5 集束搜索的误差分析-深度学习第五课《序列模型》-Stanford吴恩达教授
集束搜索的误差分析 (Error analysis in beam search)在这五门课中的第三门课里,你了解了误差分析是如何能够帮助你集中时间做你的项目中最有用的工作,束搜索算法是一种近似搜索算法(an approximate search algorithm),也被称作启发式搜索算法(a heuristic search algorithm),它不总是输出可能性最大的句子,它仅记录着B为前3或者10或是100种可能。那么如果束搜索算法出现错误会怎样呢?本节视频中,你将会学习到误差分析和束搜索算法原创 2020-06-09 17:25:11 · 614 阅读 · 0 评论 -
3.4 改进集束搜索-深度学习第五课《序列模型》-Stanford吴恩达教授
改进集束搜索 (Refinements to Beam Search)上个视频中, 你已经学到了基本的束搜索算法(the basic beam search algorithm),这个视频里,我们会学到一些技巧, 能够使算法运行的更好。长度归一化(Length normalization)就是对束搜索算法稍作调整的一种方式,帮助你得到更好的结果,下面介绍一下它。前面讲到束搜索就是最大化这个概率,这个乘积就是 P(y<1>⋯y<Ty>∣X)P(y^{<1>}\cdot原创 2020-06-09 17:12:43 · 666 阅读 · 0 评论 -
3.3 集束搜索-深度学习第五课《序列模型》-Stanford吴恩达教授
集束搜索 (Beam Search)这节视频中你会学到集束搜索(beam search)算法,上节视频中我们讲了对于机器翻译来说,给定输入,比如法语句子,你不会想要输出一个随机的英语翻译结果,你想要一个最好的,最可能的英语翻译结果。对于语音识别也一样,给定一个输入的语音片段,你不会想要一个随机的文本翻译结果,你想要最好的,最接近原意的翻译结果,集束搜索就是解决这个最常用的算法。这节视频里,你会明白怎么把集束搜索算法应用到你自己的工作中,就用我们的法语句子的例子来试一下集束搜索吧。“Jane visite原创 2020-06-09 17:01:33 · 738 阅读 · 0 评论 -
3.2 选择最可能的句子-深度学习第五课《序列模型》-Stanford吴恩达教授
选择最可能的句子 (Picking the most likely sentence)在seq2seq机器翻译模型和我们在第一周课程所用的语言模型之间有很多相似的地方,但是它们之间也有许多重要的区别,让我们来一探究竟。你可以把机器翻译想成是建立一个条件语言模型,在语言模型中上方是一个我们在第一周所建立的模型,这个模型可以让你能够估计句子的可能性,这就是语言模型所做的事情。你也可以将它用于生成一个新的句子,如果你在图上的该处(下图编号1所示),有 x<1>x^{<1>}x<1原创 2020-06-09 16:53:07 · 588 阅读 · 0 评论 -
3.1 基础模型-深度学习第五课《序列模型》-Stanford吴恩达教授
基础模型 (Basic Model)在这一周,你将会学习seq2seq(sequence to sequence)模型,从机器翻译到语音识别,它们都能起到很大的作用,从最基本的模型开始。之后你还会学习集束搜索(Beam search)和注意力模型(Attention Model),一直到最后的音频模型,比如语音。现在就开始吧,比如你想通过输入一个法语句子,比如这句 “Jane visite I’Afrique en septembre.”,将它翻译成一个英语句子,“Jane is visiting Af原创 2020-06-09 16:44:52 · 659 阅读 · 1 评论 -
2.10 词嵌入除偏-深度学习第五课《序列模型》-Stanford吴恩达教授
词嵌入除偏 (Debiasing Word Embeddings)现在机器学习和人工智能算法正渐渐地被信任用以辅助或是制定极其重要的决策,因此我们想尽可能地确保它们不受非预期形式偏见影响,比如说性别歧视、种族歧视等等。本节视频中我会向你展示词嵌入中一些有关减少或是消除这些形式的偏见的办法。本节视频中当我使用术语bias时,我不是指bias本身这个词,或是偏见这种感觉,而是指性别、种族、性取向方面的偏见,那是不同的偏见,同时这也通常用于机器学习的学术讨论中。不过我们讨论的大部分内容是词嵌入是怎样学习类比原创 2020-06-09 09:22:44 · 997 阅读 · 0 评论 -
2.9 情感分类-深度学习第五课《序列模型》-Stanford吴恩达教授
情感分类 (Sentiment Classification)情感分类任务就是看一段文本,然后分辨这个人是否喜欢他们在讨论的这个东西,这是NLP中最重要的模块之一,经常用在许多应用中。情感分类一个最大的挑战就是可能标记的训练集没有那么多,但是有了词嵌入,即使只有中等大小的标记的训练集,你也能构建一个不错的情感分类器,让我们看看是怎么做到的。这是一个情感分类问题的一个例子(上图所示),输入 xxx 是一段文本,而输出 yyy 是你要预测的相应情感。比如说是一个餐馆评价的星级,比如有人说,“The de原创 2020-06-09 09:06:20 · 723 阅读 · 0 评论 -
2.8 GloVe词向量-深度学习第五课《序列模型》-Stanford吴恩达教授
Glove 词向量 (GloVe Word Vectors)你已经了解了几个计算词嵌入的算法,另一个在NLP社区有着一定势头的算法是GloVe算法,这个算法并不如Word2Vec或是Skip-Gram模型用的多,但是也有人热衷于它,我认为可能是因为它简便吧,我们来看看这个算法。Glove算法是由Jeffrey Pennington,Richard Socher和Chris Manning发明的。(Pennington J, Socher R, Manning C. Glove: Global Vec原创 2020-06-09 09:00:50 · 900 阅读 · 0 评论 -
2.7 负采样-深度学习第五课《序列模型》-Stanford吴恩达教授
负采样 (Negative Sampling)在上个视频中,你见到了Skip-Gram模型如何帮助你构造一个监督学习任务,把上下文映射到了目标词上,它如何让你学到一个实用的词嵌入。但是它的缺点就在于softmax计算起来很慢。在本视频中,你会看到一个改善过的学习问题叫做负采样,它能做到与你刚才看到的Skip-Gram模型相似的事情,但是用了一个更加有效的学习算法,让我们来看看这是怎么做到的。在本视频中大多数的想法源于Tomas Mikolov,Ilya Sutskever,Kai Chen,Greg C原创 2020-06-07 22:35:53 · 1030 阅读 · 0 评论 -
2.6 Word2Vec-深度学习第五课《序列模型》-Stanford吴恩达教授
Word2Vec在上个视频中你已经见到了如何学习一个神经语言模型来得到更好的词嵌入,在本视频中你会见到 Word2Vec算法,这是一种简单而且计算时更加高效的方式来学习这种类型的嵌入,让我们来看看。本视频中的大多数的想法来源于Tomas Mikolov,Kai Chen,Greg Corrado 和 Jeff Dean。(Mikolov T, Chen K, Corrado G, et al. Efficient Estimation of Word Representations in Vecto原创 2020-06-07 22:21:22 · 1103 阅读 · 0 评论 -
2.5 学习词嵌入-深度学习第五课《序列模型》-Stanford吴恩达教授
学习词嵌入 (Learning Word Embeddings)在本节视频中,你将要学习一些具体的算法来学习词嵌入。在深度学习应用于学习词嵌入的历史上,人们一开始使用的算法比较复杂,但随着时间推移,研究者们不断发现他们能用更加简单的算法来达到一样好的效果,特别是在数据集很大的情况下。但有一件事情就是,现在很多最流行的算法都十分简单,如果我一开始就介绍这些简单的算法,你可能会觉得这有点神奇,这么简单的算法究竟是怎么起作用的?稍微复杂一些的算法开始,因为我觉得这样更容易对算法的运作方式有一个更直观的了解,之后原创 2020-06-07 09:15:20 · 846 阅读 · 0 评论 -
2.4 嵌入矩阵-深度学习第五课《序列模型》-Stanford吴恩达教授
嵌入矩阵 (Embedding Matrix)接下来我们要将学习词嵌入这一问题具体化,当你应用算法来学习词嵌入时,实际上是学习一个嵌入矩阵,我们来看一下这是什么意思。和之前一样,假设我们的词汇表含有10,000个单词,词汇表里有a,aaron,orange,zulu,可能还有一个未知词标记<UNK>。我们要做的就是学习一个嵌入矩阵 EEE,它将是一个300×10,000的矩阵,如果你的词汇表里有10,000个,或者加上未知词就是10,001维。这个矩阵的各列代表的是词汇表中10,000个不同原创 2020-06-07 09:08:12 · 1516 阅读 · 0 评论 -
2.3 词嵌入的特性-深度学习第五课《序列模型》-Stanford吴恩达教授
词嵌入的特性 (Properties of Word Embeddings)到现在,你应该明白了词嵌入是如何帮助你构建自然语言处理应用的。词嵌入还有一个迷人的特性就是它还能帮助实现类比推理,尽管类比推理可能不是自然语言处理应用中最重要的,不过它能帮助人们理解词嵌入做了什么,以及词嵌入能够做什么,让我们来一探究竟。这是一系列你希望词嵌入可以捕捉的单词的特征表示,假如我提出一个问题,man如果对应woman,那么king应该对应什么?你们应该都能猜到king应该对应queen。能否有一种算法来自动推导出这种原创 2020-06-07 09:00:04 · 794 阅读 · 0 评论 -
2.2 使用词嵌入-深度学习第五课《序列模型》-Stanford吴恩达教授
使用词嵌入 (Using Word Embeddings)上一个视频中,你已经了解不同单词的特征化表示了。这节你会看到我们如何把这种表示方法应用到NLP应用中。我们从一个例子开始,我们继续用命名实体识别的例子,如果你要找出人名,假如有一个句子:“Sally Johnson is an orange farmer.”(Sally Johnson是一个种橙子的农民),你会发现Sally Johnson就是一个人名,所以这里的输出为1。之所以能确定Sally Johnson是一个人名而不是一个公司名,是因为你原创 2020-06-07 08:20:05 · 747 阅读 · 1 评论 -
2.1 词汇表征-深度学习第五课《序列模型》-Stanford吴恩达教授
词汇表征 (Word Representation)上周我们学习了RNN、GRU单元和LSTM单元。本周你会看到我们如何把这些知识用到NLP上,用于自然语言处理,深度学习已经给这一领域带来了革命性的变革。其中一个很关键的概念就是词嵌入(word embeddings),这是语言表示的一种方式,可以让算法自动的理解一些类似的词,比如男人对女人,比如国王对王后,还有其他很多的例子。通过词嵌入的概念你就可以构建NLP应用了,即使你的模型标记的训练集相对较小。这周的最后我们会消除词嵌入的偏差,就是去除不想要的特性原创 2020-06-04 08:20:40 · 1163 阅读 · 0 评论 -
1.13 总结-深度学习第五课《序列模型》-Stanford吴恩达教授
总结习题第 141 题假设你的训练样本是句子(单词序列),下面哪个选项指的是第i个训练样本中的第j个词?A.x(i)x^{(i)}x(i)B.x(j)x^{(j)}x(j)C.x(j)x^{(j)}x(j)D.x(i)x^{(i)}x(i)第 142 题看一下下面的这个循环神经网络:在下面的条件中,满足上图中的网络结构的参数是:A. B.TxTyTx=1T_xT_yT_x=...原创 2020-04-29 21:58:59 · 2457 阅读 · 0 评论 -
1.12 深层循环神经网络-深度学习第五课《序列模型》-Stanford吴恩达教授
深层循环神经网络 (Deep RNNs)目前你学到的不同RNN的版本,每一个都可以独当一面。但是要学习非常复杂的函数,通常我们会把RNN的多个层堆叠在一起构建更深的模型。这节视频里我们会学到如何构建这些更深的RNN。一个标准的神经网络,首先是输入,然后堆叠上隐含层,所以这里应该有激活值,比如说第一层是,接着堆叠上下一层,激活值,可以再加一层,然后得到预测值。深层的RNN网络跟这个有点像,用手画...原创 2020-04-29 21:54:32 · 1756 阅读 · 0 评论 -
1.11 双向循环神经网络-深度学习第五课《序列模型》-Stanford吴恩达教授
双向循环神经网络 (Bidirectional RNN)现在,你已经了解了大部分RNN模型的关键的构件,还有两个方法可以让你构建更好的模型,其中之一就是双向RNN模型,这个模型可以让你在序列的某点处不仅可以获取之前的信息,还可以获取未来的信息,我们会在这个视频里讲解。第二个就是深层的RNN,我们会在下个视频里见到,现在先从双向RNN开始吧。为了了解双向RNN的动机,我们先看一下之前在命名实体...原创 2020-04-29 21:47:18 · 1891 阅读 · 0 评论 -
1.10 长短期记忆-深度学习第五课《序列模型》-Stanford吴恩达教授
长短期记忆 ((LSTM) Long Short Term Memory Unit)在上一个视频中你已经学了GRU(门控循环单元)。它能够让你可以在序列中学习非常深的连接。其他类型的单元也可以让你做到这个,比如LSTM即长短时记忆网络,甚至比GRU更加有效,让我们看看。这里是上个视频中的式子,对于GRU我们有 a<t>=c<t>a^{<t>}=c^{<...原创 2020-04-29 21:35:30 · 2665 阅读 · 0 评论 -
1.9 GRU 单元-深度学习第五课《序列模型》-Stanford吴恩达教授
GRU 单元 (Gated Recurrent Unit (GRU))你已经了解了基础的RNN模型的运行机制,在本节视频中你将会学习门控循环单元,它改变了RNN的隐藏层,使其可以更好地捕捉深层连接,并改善了梯度消失问题,让我们看一看。你已经见过了这个公式, a<t>=g(Wa[a<t−1>,x<t>]+ba)a^{<t>}=g(W_a[a^{&...原创 2020-04-29 18:39:12 · 2560 阅读 · 0 评论 -
1.8 循环神经网络的梯度消失-深度学习第五课《序列模型》-Stanford吴恩达教授
循环神经网络的梯度消失 (Vanishing Gradient with RNNs)你已经了解了RNN时如何工作的了,并且知道如何应用到具体问题上,比如命名实体识别,比如语言模型,你也看到了怎么把反向传播用于RNN。其实,基本的RNN算法还有一个很大的问题,就是梯度消失的问题。这节课我们会讨论,在下几节课我们会讨论一些方法用来解决这个问题。你已经知道了RNN的样子,现在我们举个语言模型的例子...原创 2020-04-29 15:49:19 · 1844 阅读 · 0 评论 -
1.7 对新序列采样-深度学习第五课《序列模型》-Stanford吴恩达教授
对新序列采样 (Sampling novel sequences)在你训练一个序列模型之后,要想了解到这个模型学到了什么,一种非正式的方法就是进行一次新序列采样,来看看到底应该怎么做。记住一个序列模型模拟了任意特定单词序列的概率,我们要做的就是对这些概率分布进行采样来生成一个新的单词序列。下图编号1所示的网络已经被上方所展示的结构训练训练过了,而为了进行采样(下图编号2所示的网络),你要做一些...原创 2020-04-29 15:38:57 · 2235 阅读 · 0 评论 -
1.6 语言模型和序列生成-深度学习第五课《序列模型》-Stanford吴恩达教授
语言模型和序列生成 (Language Model and Sequence Generation)在自然语言处理中,构建语言模型是最基础的也是最重要的工作之一,并且能用RNN很好地实现。在本视频中,你将学习用RNN构建一个语言模型,在本周结束的时候,还会有一个很有趣的编程练习,你能在练习中构建一个语言模型,并用它来生成莎士比亚文风的文本或其他类型文本。所以什么是语言模型呢?比如你在做一个语...原创 2020-04-29 11:49:20 · 2052 阅读 · 0 评论 -
1.5 不同类型的循环网络-深度学习第五课《序列模型》-Stanford吴恩达教授
不同类型的循环网络 (Different types of RNNs)现在你已经了解了一种RNN结构,它的输入量 TxT_xTx 等于输出数量 TyT_yTy 。事实上,对于其他一些应用, TxT_xTx 和 TyT_yTy 并不一定相等。在这个视频里,你会看到更多的RNN的结构。你应该还记得这周第一个视频中的那个幻灯片,那里有很多例子输入 xxx 和输出 yyy ,有各种类型,并不...原创 2020-04-29 11:33:28 · 1902 阅读 · 0 评论 -
1.4 通过时间的反向传播-深度学习第五课《序列模型》-Stanford吴恩达教授
通过时间的反向传播 (Backpropagation through time)之前我们已经学过了循环神经网络的基础结构,在本节视频中我们将来了解反向传播是怎样在循环神经网络中运行的。和之前一样,当你在编程框架中实现循环神经网络时,编程框架通常会自动处理反向传播。但我认为,在循环神经网络中,对反向传播的运行有一个粗略的认识还是非常有用的,让我们来一探究竟。在之前你已经见过对于前向传播(上图蓝...原创 2020-04-29 11:23:42 · 2131 阅读 · 0 评论 -
1.3 循环神经网络模型-深度学习第五课《序列模型》-Stanford吴恩达教授
循环神经网络模型 (Recurrent Neural Network Model)上节视频中,你了解了我们用来定义序列学习问题的符号。现在我们讨论一下怎样才能建立一个模型,建立一个神经网络来学习 XXX 到 YYY 的映射。可以尝试的方法之一是使用标准神经网络,在我们之前的例子中,我们有9个输入单词。想象一下,把这9个输入单词,可能是9个one-hot向量,然后将它们输入到一个标准神经网络中,...原创 2020-04-29 11:10:30 · 3507 阅读 · 1 评论 -
1.1 为什么选择序列模型-深度学习第五课《序列模型》-Stanford吴恩达教授
为什么选择序列模型 (Why Sequence Models?)在本课程中你将学会序列模型,它是深度学习中最令人激动的内容之一。循环神经网络(RNN)之类的模型在语音识别、自然语言处理和其他领域中引起变革。在本节课中,你将学会如何自行创建这些模型。我们先看一些例子,这些例子都有效使用了序列模型。在进行语音识别时,给定了一个输入音频片段 ,并要求输出对应的文字记录 。这个例子里输入和输出数据都...原创 2020-04-29 10:19:43 · 6325 阅读 · 0 评论 -
1.2 数学符号-深度学习第五课《序列模型》-Stanford吴恩达教授
数学符号(Notation)本节先从定义符号开始一步步构建序列模型。比如说你想要建立一个序列模型,它的输入语句是这样的:“Harry Potter and Herminoe Granger invented a new spell.”,(这些人名都是出自于J.K.Rowling笔下的系列小说Harry Potter)。假如你想要建立一个能够自动识别句中人名位置的序列模型,那么这就是一个命名实体...原创 2020-04-29 10:33:20 · 3396 阅读 · 0 评论