- 博客(14)
- 收藏
- 关注
RSS订阅原创 task04:注意力机制和Seq2seq模型
注意力机制不同的attetion layer的区别在于score函数的选择，在本节的其余部分，我们将讨论两个常用的注意层 Dot-product Attention 和 Multilayer Perceptron Attention；随后我们将实现一个引入attention的seq2seq模型并在英法翻译语料上进行训练与测试。import mathimport torch import...
2020-02-18 16:49:44
173
原创 Task04:机器翻译
机器翻译机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。import osos.listdir('/home/kesci/input/')import syssys.path.append('/home/kesci/input/d2l9528...
2020-02-18 16:19:18
102
原创 Task05:卷积神经网络基础+LeNet
卷积神经网络感受野LeNet架构卷积层互相关运算与卷积运算卷积层得名于卷积运算，但卷积层中用到的并非卷积运算而是互相关运算。我们将核数组上下翻转、左右翻转，再与输入数组做互相关运算，这一过程就是卷积运算。由于卷积层的核数组是可学习的，所以使用互相关运算与使用卷积运算并无本质区别。填充步幅多输入通道和多输出通道卷积层的简洁实现X = torch.rand(4...
2020-02-18 15:59:32
103
原创 task03:循环神经网络进阶
门控循环神经网络RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT）⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系GRU#参数初始化num_inputs, num_hiddens, num_outputs = vocab_size, 256, vocab_sizeprint('will use', device)def get_params(): def...
2020-02-17 11:19:37
98
原创 TASK03：梯度
梯度消失问题的解决方法1.ReLU函数2.深度残差网络3.批标准化陷入局部最小的解决方法1.深度信念网络预训练：寻找一个好的网络初始化2.Adma算法
2020-02-15 19:18:35
88
原创 TASK03：过拟合、欠拟合解决方案
模型选择、过拟合和欠拟合训练误差和泛化误差在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。多项式函数拟合实验%matplotlib inlineimport torchi...
2020-02-15 17:15:47
185
原创 2月14日学习内容2：循环神经网络
来源：伯禹学习平台普适逼近定理深度学习思想简介深度学习定义循环神经网络从零实现#数据读取import torchimport torch.nn as nnimport timeimport mathimport syssys.path.append("/home/kesci/input")import d2l_jay9460 as d2l(corpus_indices...
2020-02-14 19:06:23
128
原创 2月14日学习内容1：语言处理
内容来源：伯禹学习平台随机事件与概率随机事件1.随机试验特点：可在相同条件下重复进行，一次试验之前无法确定具体是哪种结果出现，但能确定所有的可能结果举例：掷一颗色子，可能出现不同的点数、抛一枚硬币，可能出现正面或者反面、一批电子产品中任意一个的使用寿命2.基础概念样本空间随机试验的所有可能结果所组成的集合称为样本空间，记为Ω样本点随机试验的单个结果或样本空间中的单个元素称为样本...
2020-02-14 17:25:36
136
原创 2月13日学习内容3 文本预处理
文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：读入文本分词建立字典，将每个词映射到一个唯一的索引（index）将文本从词的序列转换为索引的序列，方便输入模型import collectionsimport redef read_time_machine(): with open('/hom...
2020-02-13 19:15:49
157
原创 2月12日内容3：线性回归python实现
从零实现import torchfrom Ipython import displayimport matplotlib.pyplot as pltimport numpy as npimport random#生成数据#torch.randn(*sizes, out=None) → Tensor#返回一个张量，从标准正态分布（均值为0，方差为1）中抽取的一组随机数。张量的形状由...
2020-02-12 20:22:35
93
原创 2-12日内容1：机器学习概述
什么是机器学习由 Tom Mitchel给出的更加数学化的定义：机器学习是一门硏究学习算法的学科，这些算法能够：在某些任务T上、通过经验E、提升性能P、非显式编程实现一个学习任务可以由三元组<T、P、E>明确定义两种机器学习类型面向预测根据数据预测所需的输出（监督学习）：给定数据和标签预测所需的输出，最理想的场景生成数据实例（无监督学习）：分析和利用隐式数据模式/结构...
2020-02-12 16:44:15
121
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人