![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 79
xinxiangbobby
这个作者很懒,什么都没留下…
展开
-
神经网络中的Attention-5.训练和评估Seq2Seq
在上一篇文章中,我们研究了Cho et al. (2014) 和Pytorch实现的Seq2Seq模型。在这篇文章中,让我们看看如何用准备好的数据训练模型,并定性地评估它。创建编码器/解码器模型首先,让我们分别创建编码器和解码器模型。尽管它们是共同训练和评估的,但为了使代码具有更好的可读性和可理解性,我们分别定义和创建它们。仅仅作为参考,我们在前面的帖子中设置了超参数,如下所示。 MAX_SENT_LEN: 源(英文)句子的最大句子长度 ...原创 2021-12-21 21:54:22 · 754 阅读 · 0 评论 -
神经网络中的Attention-5.训练和评估Seq2Seq
在上一篇文章中,我们研究了Cho et al. (2014) 和Pytorch实现的Seq2Seq模型。在这篇文章中,让我们看看如何用准备好的数据训练模型,并定性地评估它。创建编码器/解码器模型首先,让我们分别创建编码器和解码器模型。尽管它们是共同训练和评估的,但为了使代码具有更好的可读性和可理解性,我们分别定义和创建它们。仅仅作为参考,我们在前面的帖子中设置了超参数,如下所示。 MAX_SENT_LEN: 源(英文)句子的最大句子长度 ...翻译 2021-12-21 21:51:01 · 399 阅读 · 0 评论 -
神经网络中的Attention-4.Seq2Seq的实现
在上一篇文章中,我们看到了如何为Seq2Seq准备机器翻译数据。在这篇文章中,让我们用Pytorch和准备好的数据来实现Cho et al. (2014) 描述的Seq2Seq模型。数据预处理在数据处理之后,我们有四个包含学习Seq2Seq模型的关键信息的变量。在之前的文章中,我们将它们命名为eng_words, deu_words, eng_sentences, deu_sentences。eng_words和deu_words包含源语(英语)和目标语(德语)句子中独特的单词。在我处理过的数据翻译 2021-11-07 19:27:37 · 236 阅读 · 0 评论 -
神经网络中的Attention-3.为机器翻译Seq2Seq准备数据
在上一篇文章中,我们首先研究了Sequence-to-Sequence(Seq2Seq)。在这篇文章中,在用Python实现Seq2Seq模型之前,让我们看看如何为神经机器翻译准备数据。问题-神经机器翻译机器翻译的任务是将一种语言(如法语)的句子自动转换成另一种语言(如英语)的句子。我们要转换的句子(词)通常称为源句(词)。被转换成的句子(词)就是目标句子(词)。下面的图表展示了从法语到英语的翻译,第一个源词是“On”、“y”和“va”,而目标词是“Let’s”和“go”。神翻译 2021-10-26 21:02:30 · 156 阅读 · 0 评论 -
神经网络中的Attention-2.Sequence-to-Sequence (Seq2Seq)
在之前的文章中,介绍了注意力机制,并概述了它的(不那么短的)历史。在这篇文章中,将解释Sequence-to-Sequence (Seq2Seq)架构,它带来了神经机器翻译的重大突破,并推动了Attention的发展。动机-序列问题深度神经网络是在各种任务中对非线性数据进行建模的高效工具。在图像分类、句子分类等多种任务中,深度神经网络已被证明是有效的。然而,传统的架构,如多层感知机,在建模序列,如信号和自然语言的效率较低。因此,Seq2Seq被提出来将序列输入映射到序列输出。Se翻译 2021-10-16 20:06:57 · 631 阅读 · 0 评论 -
深度学习入门教程-1.4 神经网络如何学会预测
咱们已经知道了什么是神经元,而且知道了神经网络如何进行预测,那么它是如何学会这种能力的呢?下面咱们就来说一说。上节说到,神经元之所以可以进行预测,主要是通过公式Y = (x1 * w1 + x2 * w2 + x3 * w3) + b计算来进行的。但是,权重(w1,w2,w3)和偏差b是怎么得来的呢?你很能要说,你这不是废话吗?是你设定的撒。非也,上节只是为了讲解方便,咱们人工设定了权重和偏差的值。但是,实际中在运用神经网络时,并不是这样的。试想下,如果参数都是人...原创 2020-07-21 19:13:46 · 718 阅读 · 0 评论 -
深度学习入门教程-1.3 神经网络如何进行预测
上一节中我们介绍了神经网络的输入,即如何将图片输入到神经网络中去。那么神经网络是如何根据这些数据进行预测的呢?也就是我们将一张图片输入到神经网络之后,神经网络是如何预测这张图中是否有猫的呢?这个预测的过程其实可以看作是基于一个简单的公式:z = dot(w,x) + b。这个公式中的x代表输入的特征向量,假设特征向量有3个特征,那么x就可以用(x1,x2,x3)来表示。w表示权重,它对应于每个输入的特征,可以认为代表了每个特征的重要程度。b表示偏差,是调整神经元被激活的容易程度。...原创 2020-07-14 09:56:54 · 3367 阅读 · 1 评论 -
深度学习入门教程-1.2 神经网络的输入
前面大概讲了什么是神经网络。那么这节就来说下如何将数据(图片、语音、视频等等)输入到神经网络中。下面是一张金发美女的图片,图片一般有RGB、CMYK等色彩模式,咱们就拿RGB来说。为了存储RGB的图像,因为图像有三个通道,因此计算机会存储一个三维矩阵,为了理解方便,咱们暂且看作三个独立的矩阵。这三个矩阵分别与此图像的红色、绿色和蓝色相对应(世界上的所有颜色都可以通过红绿蓝三种颜色调配出来)。如果图像的大小是64 * 64个像素(一个像素就是一个颜色点,一个颜...原创 2020-07-07 09:33:44 · 3970 阅读 · 0 评论 -
深度学习入门教程-1.1 神经网络是什么
到底什么是人工神经网络?前面提到,人工神经网络是从大脑的理解中汲取灵感而形成的。在我们的大脑中,有数十亿个神经元,它们连接成了一个神经网络。人工神经网络,结构也有些类似。许多个神经元(下图中的⚪)相连,构成了一个神经网络。人类大脑神经元细胞接收来自外部多个强度不同的刺激,并在神经元细胞内进行处理,然后转化为一个输出,传导给下一个神经元。人工神经元也类似,但是在处理的机制和工作原理和大脑神经元没什么关系。人工神经元输入的是数据,输出的还是数据。...原创 2020-07-01 17:01:21 · 282 阅读 · 0 评论