- 博客(9)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 笔记：动手学深度学习pytorch（文本分类；数据增强；模型微调）
- 文本分类- 文本情感分类文本分类是自然语言处理的一个常见任务，它把一段不定长的文本序列变换为文本的类别。本节关注它的一个子问题：使用文本情感分类来分析文本作者的情绪。这个问题也叫情感分析，并有着广泛的应用。同搜索近义词和类比词一样，文本分类也属于词嵌入的下游应用。在本节中，我们将应用预训练的词向量和含多个隐藏层的双向循环神经网络与卷积神经网络，来判断一段不定长的文本序列中包含的是正面还是...
2020-02-25 19:57:01
911
原创 笔记：动手学深度学习pytorch（优化算法进阶，word2vec，词嵌入进阶）
- 优化算法进阶- Momentum目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量的迭代方向仅仅取决于自变量当前位置，这可能会带来一些问题。对于noisy gradient,我们需要谨慎的选取学习率和batch siz...
2020-02-24 17:22:04
540
原创 笔记：动手学深度学习pytorch（批量归一化和残差网络，凸优化，梯度下降）
- 批量归一化和残差网络- 批量归一化- 对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近- 批量归一化（深度模型）利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。- 对全连接层做批量归一化位置：全连接层中的仿射变换和激活函数之间- 全连接全连接...
2020-02-21 17:10:25
383
原创 笔记：动手学深度学习pytorch（卷积神经网络基础；leNet；卷积神经网络进阶）
- 卷积神经网络基础- 卷积层- 1×\boldsymbol\times× 1 卷积层形状为1×11 \times 11×1的卷积核，我们通常称这样的卷积运算为1×11 \times 11×1卷积，称包含这种卷积核的卷积层为1×11 \times 11×1卷积层。1×11 \times 11×1卷积核可在不改变高宽的情况下，调整通道数。1×11 \times 11×1卷积核不识别高和宽维...
2020-02-19 15:47:33
507
原创 笔记：动手学深度学习pytorch（机器翻译，Transformer，注意力机制和Sequence to sequence模型）
- 机器翻译- 机器翻译与数据集- 机器翻译顾名思义，机器翻译就是将一段文本从一种语言翻译到另外一种语言，简称MT，而利用神经网络解决这个问题就被称为神经机器翻译（NMT）。特征主要是输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。- 数据预处理将数据集清洗、转化为神经网络的输入minbatchwith open(’/home/kesci/input/frae...
2020-02-17 15:58:41
1939
原创 笔记：动手学深度学习pytorch（文本预处理，语言模型与数据集，循环神经网络）
- 文本预处理- 文本文本是一类序列数据，一篇文章可以看作是字符或单词的序列- 处理步骤读入文本分词建立字典，将每个词映射到一个唯一的索引（index）将文本从词的序列转换为索引的序列，方便输入模型- 读入文本这里用一部英文小说，即H. G. Well的Time Machine，作为示例，展示文本预处理的具体过程。import collectionsimport re...
2020-02-13 15:41:34
709
原创 笔记：动手学深度学习pytorch（ModernRNN，过拟合欠拟合及其解决方案，梯度消失、梯度爆炸）
- ModernRNN- RNN：RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。RNN存在一些问题梯度较容易出现衰减或爆炸（BPTT）- 梯度爆炸，梯度消失首先举一个例子：如果有一个层输为LLL的多层感知机的第lll层H(l)\boldsymbol{H}^{(l)}H(l)的参数为W(l)\boldsymbol{W}^{(l)}W(l)，...
2020-02-12 17:31:25
1278
原创 笔记：深度学习基础pytorch（线性回归，softmax与分类模型，多层感知机）
深度学习基础pytorch：线性回归，多层感知机，softmax与分类模型-什么是线性回归-线性回归的基本要素- 模型：- 数据集：- 损失函数：- 小批量随机梯度下降（mini-batch stochastic gradient descent）：- 线性回归模型从零开始实现：- 生成数据集- 读取数据集- 初始化模型参数- 定义模型- 定义损失函数- 定义优化函数- 开始训练- softmax...
2020-02-11 18:53:38
632
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人