2019年11月_onemorepoint

原创动手学深度学习16- 深度学习的数值稳定性和模型初始化

衰减和爆炸随机初始化模型参数 pytorch的默认随机初始化 Xavier随机初始化小结深度学习的数值稳定性问题以及模型参数的初始化方法。深度学习有关数值稳定性的典型问题是衰减(vanishing) 和爆照(explosion)衰减和爆炸当神经网络层数较多时，模型的数值稳定性变差。假设一个层数为L的多层感知机的第$l层H^的权重参数为W^$。为了方便讨论，不考虑偏...

2019-11-16 20:08:00 516

原创动手学深度学习15-深度学习-正向传播、反向传播和计算图

正向传播反向传播训练深度学习模型小结前几节里面我们使用了小批量随机梯度下降的优化算法来训练模型。在实现中，我们只提供了模型的正向传播的(forward propagation)计算，即对于输入计算模型输出，然后通过autograd模块来调用系统自动生成的bachward函数来计算梯度。本节将使用数学和计算图(computational graph)两个方式来描述正向传播和反向传播。...

2019-11-16 11:03:00 693

原创动手学深度学习14- pytorch Dropout 实现与原理

方法从零开始实现定义模型参数网络评估函数优化方法定义损失函数数据提取与训练评估 pytorch简洁实现小结针对深度学习中的过拟合问题，通常使用丢弃法(dropout),丢弃法有很多的变体，本文提高的丢弃法特指倒置丢弃法(inverted dorpout)。方法在会议多层感知机的图3.3描述了一个单隐藏层的多层感知机。其中输入个数为4，...

2019-11-15 17:00:00 1559

原创转深度学习—过拟合问题

1、过拟合问题　　欠拟合：根本原因是特征维度过少，模型过于简单，导致拟合的函数无法满足训练集，误差较大；　　　　　　解决方法：增加特征维度，增加训练数据；　　过拟合：根本原因是特征维度过多，模型假设过于复杂，参数过多，训练数据过少，噪声过多，导致拟合的函数完美的预测训练集，但对新数据的测试集预测结果差。过度的拟合了训练数据，而没有考虑到泛化能力。　　　　　　解决方法：（...

2019-11-15 14:30:00 257

原创动手学深度学习13-权重衰减

权重衰减高维线性回归实验从零开始实现初始化模型参数定义L2范数惩罚项定义训练和测试使用权重衰减pytorch简洁实现小结上一节中提提到的过拟合现象，在模型的训练误差远小于测试集上的误差。虽然增大训练接数据集可以减轻过拟合，但是获得额外的训练数据往往代价过大，本节介绍过拟合常用的方式:权重衰减(weight decay)。权重衰减权重衰减等价于L2范数正...

2019-11-11 14:14:00 365

原创动手学深度学习12- 模型选择，欠拟合和过拟合

模型选择、欠拟合和过拟合训练误差和泛化误差模型选择K折交叉验证欠拟合和过拟合模型复杂度训练数据集大小多项式函数拟合实验定义、训练和测试模型欠拟合过拟合小结模型选择、欠拟合和过拟合前几节给予Fashion_MNIST数据集的实验中，我们评价了机器学习模型在训练集合测试集上的表现。通常得到的结果都是训练数据集上更准确时，它在测试集上表现不一定更好...

2019-11-08 18:31:00 283

原创 markdown 希腊字母

字母名称大写 markdown原文小写 markdown原文alpha A A α \alphabeta B B β \betagamma Γ \Gamma γ \gammadelta Δ \Delta δ \deltaepsilon E E ϵ \epsilonε \varepsilonzeta Z Z ζ \zetaeta E E η \etatheta Θ \Theta θ \...

2019-11-08 16:10:00 916

原创动手学深度学习11- 多层感知机pytorch简洁实现

多层感知机的简洁实现定义模型读取数据并训练数据损失函数定义优化算法小结多层感知机的简洁实现import torchfrom torch import nnfrom torch.nn import initimport sysimport numpy as npsys.path.append('..')import d2lzh_pytorch as...

2019-11-07 13:54:00 275

原创动手学深度学习10- pytorch多层感知机从零实现

多层感知机定义模型的参数定义激活函数定义模型定义损失函数训练模型小结多层感知机import torchimport numpy as npimport syssys.path.append('..')import d2lzh_pytorch as d2l我们仍然使用Fashion_MNIST数据集，使用多层感知机对图像进行分类bat...

2019-11-07 12:31:00 174

原创动手学深度学习9-多层感知机pytorch

多层感知机隐藏层激活函数小结多层感知机之前已经介绍过了线性回归和softmax回归在内的单层神经网络，然后深度学习主要学习多层模型，后续将以多层感知机(multilayer percetron,MLP),介绍多层神经网络的概念。隐藏层多层感知机在单层神经网络的基础上引入了一到多个隐藏层(hidden layer)。隐藏层位于输入层和输出层质检。下图展示了一个多层感知机的...

2019-11-06 22:40:00 266

原创动手学深度学习8-softmax分类pytorch简洁实现

定义和初始化模型softamx和交叉熵损失函数定义优化算法训练模型import torchfrom torch import nnfrom torch.nn import initimport numpy as npimport syssys.path.append('..')import d2lzh_pytorch as d2limport torchvi...

2019-11-05 21:40:00 388 1

原创动手学深度学习7-从零开始完成softmax分类

获取和读取数据初始化模型参数实现softmax运算定义模型定义损失函数计算分类准确率训练模型小结import torchimport torchvisionimport numpy as npimport sysimport randomimport torchvision.transforms as transformssys.path.append...

2019-11-05 18:07:00 291

原创动手学深度学习6-认识Fashion_MNIST图像数据集

获取数据集读取小批量样本小结本节将使用torchvision包，它是服务于pytorch深度学习框架的，主要用来构建计算机视觉模型。torchvision主要由以下几个部分构成：torchvision.datasets:一些加载数据的函数以及常用的数据集的接口torchvision.models: 包含常用的模型结构(含预训练模型),例如AlexNet，VGG，Re...

2019-11-02 23:10:00 891 2

原创动手学深度学习5-softmax回归

softmax回归softmax 回归模型单样本分类的矢量计算表达式小批量样本分类的矢量计算表达式交叉熵损失函数模型预测以及评价小结softmax回归前几节介绍的是线性回归模型适用于输出连续值的情况，在另外一类情况下，模型输出的是一个图像的类别这样的离散值。对于离散值预测的问题，我们可以采用诸如softmax回归在内的分类模型。和线性回归不同，softma...

2019-11-01 15:56:00 245

onemorepoint的博客