DeepLearning
DeepLearning
大象大象你的鼻子怎么那么长
学海无涯乐作舟,直挂云帆济沧海
展开
-
深度学习中的batch、epoch、iteration的含义
深度学习的优化算法,说白了就是梯度下降。每次的参数更新有两种方式。第一种,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看...转载 2020-05-01 22:45:13 · 292 阅读 · 0 评论 -
【学习笔记】动手学深度学习task10
文章目录一、GAN二、DCGAN一、GAN生成对抗网络一般分为两部分:生成器和分类器生成器的功能是输入一个样本将其输出成一个逼真的样子,判别器来判断输入的样本是真的还是伪造的。分类器通过模型判别假数据,互相对抗提升模型能力。例如输入的是真样本,网络输出就接近1,输出的是假样本,网络输出接近0。生成对抗网络的目标是其模型可生成符合数据集分布,又和原数据集不同的数据,并且生成器生成的...原创 2020-02-25 16:51:28 · 181 阅读 · 0 评论 -
【学习笔记】动手学深度学习task09
一、目标检测基础原创 2020-02-25 16:24:07 · 391 阅读 · 0 评论 -
【学习笔记】动手学深度学习task06
一、批量归一化和残差网络1.批量归一化利用小批量上的均值和标准差,不断调整神经网络中间输出,从而使整个神经网络在各层的中间输出的数值更稳定。1.1 全连接层上的批量归一化位置:全连接层中的仿射变换和激活函数之间。简洁实现是BatchNorm1d(输出神经元个数)1.2 卷积层上的批量归一化位置:卷积计算之后、应⽤激活函数之前。如果卷积计算输出多个通道,我们需要对这些通道的输出分别...原创 2020-02-22 15:10:27 · 245 阅读 · 0 评论 -
【学习笔记】动手学深度学习task05
一、卷积神经网络基础1.互相关运算举例二维互相关运算如下:输入是一个二维输入数组和一个二维核(kernel)数组,输出也是一个二维数组,其中核数组通常称为卷积核或过滤器(filter)。卷积核的尺寸通常小于输入数组,卷积核在输入数组上滑动,在每个位置上,卷积核与该位置处的输入子数组按元素相乘并求和,得到输出数组中相应位置的元素。图1展示了一个互相关运算的例子,阴影部分分别是输入的第一个计算...原创 2020-02-19 21:04:53 · 600 阅读 · 1 评论 -
【学习笔记】动手学深度学习task04
文章目录一、机器翻译及相关技术1.数据预处理步骤2.Encoder-Decoder2.1 基本模型2.2 Sequence to Sequence模型2.3 Beam Search二、注意力机制与Seq2seq模型一、机器翻译及相关技术1.数据预处理步骤数据清洗:把无用字符串清除替换掉进行分词,把数据集按需要隔开建立词典:(1)统计词汇,进行去重并返回一个元组(2)通过这个元组进行...原创 2020-02-18 23:08:21 · 782 阅读 · 0 评论 -
【学习笔记】动手学深度学习task03
文章目录一、过拟合、欠拟合及其解决方案1.过拟合、欠拟合的概念2.模型选择3.权重衰减1.L2 范数正则化(regularization)2.丢弃法(dropout)二、梯度消失、梯度爆炸1.梯度消失和梯度爆炸2.随机初始化模型参数1.为什么要随机初始化模型参数2.PyTorch的默认初始化方法3.Xavier随机初始化3.考虑环境因素1.协变量偏移2.标签偏移3.概念偏移4.习题解释一、过拟合...原创 2020-02-16 17:54:42 · 249 阅读 · 0 评论 -
【学习笔记】动手学深度学习task02
文章目录一、文本预处理1.预处理步骤2.用现有工具进行分词二、语言模型1.马尔可夫假设2.时序数据的采样1.随机采样2.相邻采样3.习题解释三、循环神经网络基础1.one-hot向量2.裁剪梯度3.困惑度4.时序数据不同采样方法导致隐藏状态初始化的不同5.pytorch中的nn.RNN6.习题解释一、文本预处理1.预处理步骤1.读入文本2.分词3.建立字典,将每个词映射到一个唯一的索引(...原创 2020-02-14 21:34:03 · 157 阅读 · 0 评论 -
【学习笔记】动手学深度学习task01
一、线性回归1.线性关系的模型基于公式:y=wx+b(w为权重,x为样本,b为偏差,y为预测值)。线性回归模型的参数(parameter)通常包括w(权重)和b(偏差)。2.数据集通常使用真实数据:特征(feature,用来预测标签的因素)、标签(label,真实的结果)。3.损失函数:用来衡量预测值和真实值之间的误差,且数值越小这个误差值越小,线性回归常用的选择是平方误差函数(平方损失):...原创 2020-02-14 19:58:29 · 284 阅读 · 0 评论