PyTorch
Jaster_wisdom
程序员
展开
-
加速神经网络训练方法及不同Optimizer优化器性能比较
本篇博客主要介绍几种加速神经网络训练的方法。我们知道,在训练样本非常多的情况下,如果一次性把所有的样本送入神经网络,每迭代一次更新网络参数,这样的效率是很低的。为什么?因为梯度下降法参数更新的公式一般为:如果使用批量梯度下降法(一次性使用全部样本调整参数),那么上式中求和那项的计算会非常耗时,因为样本总量m是一个很大的数字。那么由此就有了第一种加速方法:随机梯度下降法,简称SGD。 它的思想是,将...原创 2018-04-09 21:33:36 · 5469 阅读 · 0 评论 -
基于PyTorch的CNN卷积神经网络识别MNIST手写数字
本篇博客主要介绍基于PyTorch深度学习框架来实现MNIST经典的手写数字,运用CNN卷积神经网络。MNIST数据集来自美国国家标准与技术研究所,其中训练数据有60000张,测试数据有10000张,每张图片的大小是28*28像素我们可以基于PyTorch直接下载该数据集。该识别程序先使用一层卷积层(卷积核数量16,卷积核大小5*5,步长为1,允许边缘扩充),紧接着激活层使用ReLU函数,之后紧跟...原创 2018-04-11 10:51:57 · 3028 阅读 · 0 评论 -
基于PyTorch的LSTM长短时记忆网络实现MNIST手写数字
本篇博客主要介绍在PyTorch框架下,基于LSTM实现手写数字的识别。在介绍LSTM长短时记忆网路之前,我先介绍一下RNN(recurrent neural network)循环神经网络.RNN是一种用来处理序列数据的神经网络,序列数据包括我们说话的语音、一段文字等等。它的出现是为了让网络自己有记忆能力,每个网络模块把信息传给下一个模块,它的网络结构如下:对于输入的一段序列数据(X1,X2,X3...原创 2018-04-12 20:56:42 · 8719 阅读 · 7 评论