动手学深度学习
《动手学深度学习》笔记 ,学习网址https://www.kesci.com/org/boyuai/workspace/project
csdnshenjiaye
这个作者很懒,什么都没留下…
展开
-
《动手学深度学习》笔记 Task06:批量归一化和残差网络;凸优化;梯度下降
批量归一化(BatchNormalization)对输入的标准化(浅层模型)处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化(深度模型)利用小批量上的均值和标准差,不断调整神经网络中间输出,从而使整个神经网络在各层的中间输出的数值更稳定。1.对全连接层做批量归一化位置:全连接层中的仿射变换和激活函数之间。全连...原创 2020-02-25 20:58:36 · 283 阅读 · 0 评论 -
《动手学深度学习》笔记 Task05 卷积神经网络基础;leNet;卷积神经网络进阶
卷积神经网络基础本节我们介绍卷积神经网络的基础概念,主要是卷积层和池化层,并解释填充、步幅、输入通道和输出通道的含义。二维卷积层本节介绍的是最常见的二维卷积层,常用于处理图像数据。二维互相关运算二维互相关(cross-correlation)运算的输入是一个二维输入数组和一个二维核(kernel)数组,输出也是一个二维数组,其中核数组通常称为卷积核或过滤器(filter)。卷积...原创 2020-02-19 01:16:38 · 325 阅读 · 0 评论 -
《动手学深度学习》笔记 Task04 机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer
机器翻译和数据集机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。数据预处理将数据集清洗、转化为神经网络的输入minbatch分词字符串---单词组成的列表建立词典单词组成的列表---单词id组成的列表载入数据集Enc...原创 2020-02-19 01:10:44 · 806 阅读 · 0 评论 -
《动手学深度学习》笔记 Task03 过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶
过拟合、欠拟合及其解决方案过拟合、欠拟合的概念 权重衰减 丢弃法模型选择、过拟合和欠拟合训练误差和泛化误差在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。计算训练误...原创 2020-02-19 01:02:07 · 732 阅读 · 0 评论 -
《动手学深度学习》笔记 Task02:文本预处理;语言模型;循环神经网络基础
《动手学深度学习》笔记 Task02:文本预处理;语言模型;循环神经网络基础文本预处理文本是一类序列数据,一篇文章可以看作是字符或单词的序列,本节将介绍文本数据的常见预处理步骤,预处理通常包括四个步骤:读入文本 分词 建立字典,将每个词映射到一个唯一的索引(index) 将文本从词的序列转换为索引的序列,方便输入模型语言模型一段自然语言文本可以看作是一个离散时间序列,...原创 2020-02-14 18:50:57 · 247 阅读 · 0 评论 -
《动手学深度学习》笔记 Task01 线性回归;Softmax与分类模型、多层感知机
《动手学深度学习》笔记 Task01 线性回归;Softmax与分类模型、多层感知机原创 2020-02-14 18:39:07 · 340 阅读 · 1 评论