Jaster_wisdom的专栏

待到山花烂漫时,她在丛中笑

基于PyTorch的LSTM长短时记忆网络实现MNIST手写数字

本篇博客主要介绍在PyTorch框架下,基于LSTM实现手写数字的识别。在介绍LSTM长短时记忆网路之前,我先介绍一下RNN(recurrent neural network)循环神经网络.RNN是一种用来处理序列数据的神经网络,序列数据包括我们说话的语音、一段文字等等。它的出现是为了让网络自己有...

2018-04-12 20:56:42

阅读数:506

评论数:0

基于PyTorch的CNN卷积神经网络识别MNIST手写数字

本篇博客主要介绍基于PyTorch深度学习框架来实现MNIST经典的手写数字,运用CNN卷积神经网络。MNIST数据集来自美国国家标准与技术研究所,其中训练数据有60000张,测试数据有10000张,每张图片的大小是28*28像素我们可以基于PyTorch直接下载该数据集。该识别程序先使用一层卷积...

2018-04-11 10:51:57

阅读数:301

评论数:0

加速神经网络训练方法及不同Optimizer优化器性能比较

本篇博客主要介绍几种加速神经网络训练的方法。我们知道,在训练样本非常多的情况下,如果一次性把所有的样本送入神经网络,每迭代一次更新网络参数,这样的效率是很低的。为什么?因为梯度下降法参数更新的公式一般为:如果使用批量梯度下降法(一次性使用全部样本调整参数),那么上式中求和那项的计算会非常耗时,因为...

2018-04-09 21:33:36

阅读数:700

评论数:0

BP神经网络(输出层采用Softmax激活函数、交叉熵损失函数)公式推导

本篇博客主要介绍经典的三层BP神经网络的基本结构及反向传播算法的公式推导。我们首先假设有四类样本,每个样本有三类特征,并且我们在输出层与隐藏层加上一个偏置单元。这样的话,我们可以得到以下经典的三层BP网络结构:当我们构建BP神经网络的时候,一般是有两个步骤,第一是正向传播(也叫做前向传播),第二是...

2017-10-28 21:42:29

阅读数:3727

评论数:9

训练神经网络的简单例子(TensorFlow平台下Python实现)

本篇文章主要通过一个简单的例子来实现神经网络。训练数据是随机产生的模拟数据集,解决二分类问题。 下面我们首先说一下,训练神经网络的一般过程: 1.定义神经网络的结构和前向传播的输出结果 2.定义损失函数以及反向传播优化的算法 3.生成会话(Session)并且在训练数据上反复运行反向传播优化算法 ...

2017-09-18 14:19:54

阅读数:6499

评论数:4

卷积神经网络(CNN)的规律总结

本篇博客主要讲述卷积神经网络(CNN)的一般规律和一些基本的特性。   卷积神经网络的局部连接、权值共享以及池化操作等特性使之可以有效地降低网络的复杂度,减少训练参数的数目,使模型对平移、扭曲、缩放具有一定程度的不变性,并具有强鲁棒性和容错能力,且易于训练和优化。   目前,常用的深度学习模型有...

2017-09-12 19:19:03

阅读数:1010

评论数:0

计算机视觉、机器学习、模式识别、图像处理领域国内外期刊、会议汇总

重要国际期刊 一、IEEE Transactions on Pattern Analysis and Machine Intelligence   (PAMI)               (IEEE模式分析与机器智能汇刊)             链接:http://ieeexplore.i...

2017-09-05 10:23:52

阅读数:507

评论数:0

概率神经网络(PNN)

概率神经网络(Probabilistic Neural Network)是由D.F.Speeht博士在1989年首先提出,是径向基网络的一个分支,属于前馈网络的一种。它具有如下优点:学习过程简单、训练速度快;分类更准确,容错性好等。从本质上说,它属于一种有监督的网络分类器,基于贝叶斯最小风险准则。...

2017-04-07 17:05:58

阅读数:14575

评论数:7

提示
确定要删除当前文章?
取消 删除
关闭
关闭