![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Deep_Learning
九号店
trust the process
展开
-
Transformer
文章目录Transformertransformer模型transformer的pytorch实现多头注意力层多头注意力模型多头注意力pytorch基于位置的前馈网络(FFN)Add and Norm位置编码编码器(Encoder)解码器(Decoder)小结Transformertransformer模型在之前的章节中,我们已经介绍了主流的神经网络架构如卷积神经网络(CNNs)和循环神经网...原创 2020-02-17 17:21:15 · 2915 阅读 · 0 评论 -
LeNet、AlexNet、VGG、NiN、GoogLeNet
文章目录LeNet、AlexNet、VGG、NiN、GoogLeNet全连接层与卷积层的优势对比LeNetLeNet模型LeNet的pytorch实现AlexNetAlexNet模型AlexNet的pytorch实现VGGVGG模型VGG的实现NiN(网络中的网络)NiN模型NiN的pytorch实现GooLeNetInception块完整goolenet模型GooLeNet的pytorch小结...原创 2020-02-17 16:56:43 · 497 阅读 · 0 评论 -
卷积神经网络基础(CNN)
文章目录卷积神经网络基础二维互相关运算二维卷积层互相关运算与卷积运算特征图和感受野填充和步幅填充步幅多输入通道和多输出通道多输入通道多输出通道1x1卷积层卷积层与全连接层的比较卷积层的pytorch实现池化层二维池化层池化层的pytorch实现卷积神经网络基础二维互相关运算虽然卷积层得名于卷积(convolution)运算,但我们通常在卷积层中使用更加直观的互相关(cross-correla...原创 2020-02-17 16:24:45 · 1095 阅读 · 0 评论 -
注意力机制
文章目录注意力机制注意力机制框架softmax的屏蔽超出二维矩阵的乘法点积注意力多层感知机注意力计算背景变量矢量化计算引入注意力机制的S2SDecoder注意力机制在“编码器—解码器(seq2seq)”⼀节⾥,解码器在各个时间步依赖相同的背景变量(context vector)来获取输⼊序列信息。当编码器为循环神经⽹络时,背景变量来⾃它最终时间步的隐藏状态。将源序列输入信息以循环单位状态编码,...原创 2020-02-16 23:18:16 · 3105 阅读 · 1 评论 -
模型选择、过拟合与欠拟合
文章目录模型选择与过拟合与欠拟合训练误差与泛化误差模型选择验证集K折交叉验证欠拟合与过拟合模型复杂度多项式拟合权重衰减L2正则化权重衰减的pytorch实现dropoutdropout的pytorch实现梯度消失与梯度爆炸随机初始化模型参数PyTorch的默认随机初始化Xavier随机初始化小结模型选择与过拟合与欠拟合训练误差与泛化误差训练误差(training error)指模型在训练数据...原创 2020-02-16 20:38:53 · 431 阅读 · 0 评论 -
机器翻译相关基础模型
文章目录机器翻译读取和预处理数据数据预处理分词建立词典载入数据encoder-decoderSeq2SeqBeamsearch机器翻译机器翻译是指将一段文本从一种语言自动翻译到另一种语言。因为一段文本序列在不同语言中的长度不一定相同,所以我们使用机器翻译为例来介绍编码器—解码器和注意力机制的应用。读取和预处理数据数据预处理将数据集清洗、转化为神经网络的输入minbatch%导入模块i...原创 2020-02-16 20:35:11 · 837 阅读 · 0 评论 -
循环神经网络
文章目录循环神经网络简单循环神经网络的构造裁剪梯度循环神经网络的pytorch实现GRULSTM深度循环网络双向循环网络循环神经网络简单循环神经网络的构造[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OSYqSmCS-1581672461049)(https://img.vim-cn.com/a8/d90fe522138ebfb79547e687f5fd826...原创 2020-02-14 17:28:36 · 285 阅读 · 0 评论 -
文本预处理与n元语法
文章目录文本预处理读入文本分词建立字典用现有工具包分词NLTKSPACY语言模型(基于统计的语言模型)n元语法相邻采样随机采样文本预处理读入文本分词建立字典,将每个词映射到一个唯一的索引(index)将文本从词的序列转换为索引的序列,方便输入模型读入文本import collectionsimport redef read_time_machine(): with ...原创 2020-02-14 17:27:33 · 208 阅读 · 0 评论 -
多层感知机
文章目录多层感知机隐藏层激活函数ReLU函数sigmod函数tanh 函数关于激活函数的选择多层感知机的pytorch实现多层感知机我们已经介绍了包括线性回归和softmax回归在内的单层神经网络。然而深度学习主要关注多层模型。在本节中,我们将以多层感知机(multilayer perceptron,MLP)为例,介绍多层神经网络的概念。隐藏层多层感知机在单层神经网络的基础上引入了一到多个...原创 2020-02-14 17:26:48 · 318 阅读 · 0 评论 -
softmax回归
文章目录softmax回归分类问题softmax回归模型softmax运算单样本分类的矢量计算表达式小批量样本分类的矢量计算表达式交叉熵损失函数softmax的pytorch实现训练模型softmax回归前几节介绍的线性回归模型适用于输出为连续值的情景。在另一类情景中,模型输出可以是一个像图像类别这样的离散值。对于这样的离散值预测问题,我们可以使用诸如softmax回归在内的分类模型。和线性回...原创 2020-02-14 17:26:09 · 130 阅读 · 0 评论 -
深度学习线性回归(pytorch)
线性回归模型y=wx+by = wx + by=wx+b损失函数ℓ(w1,w2,b)=1n∑i=1nℓ(i)(w1,w2,b)=1n∑i=1n12(x1(i)w1+x2(i)w2+b−y(i))2.\ell(w_1, w_2, b) =\frac{1}{n} \sum_{i=1}^n \ell^{(i)}(w_1, w_2, b) =\frac{1}{n} \sum_{i=1}^n...原创 2020-02-14 14:28:45 · 379 阅读 · 0 评论