Jaster_wisdom的专栏

概率神经网络(Probabilistic Neural Network)是由D.F.Speeht博士在1989年首先提出，是径向基网络的一个分支，属于前馈网络的一种。它具有如下优点：学习过程简单、训练速度快；分类更准确，容错性好等。从本质上说，它属于一种有监督的网络分类器，基于贝叶斯最小风险准则。       概率神经网络一般有以下四层：输入层、模式层、求和层和输出层。有的资料中也把模式层称为

重要国际期刊一、IEEE Transactions on Pattern Analysis and Machine Intelligence   (PAMI)               (IEEE模式分析与机器智能汇刊)            链接：http://ieeexplore.ieee.org/xpl/RecentIssue.jsp?punumber=34

本篇文章主要通过一个简单的例子来实现神经网络。训练数据是随机产生的模拟数据集，解决二分类问题。下面我们首先说一下，训练神经网络的一般过程：1.定义神经网络的结构和前向传播的输出结果2.定义损失函数以及反向传播优化的算法3.生成会话(Session)并且在训练数据上反复运行反向传播优化算法要记住的一点是，无论神经网络的结构如何变化，以上三个步骤是不会改变的。    完整代码如

本篇博客主要讲述卷积神经网络(CNN)的一般规律和一些基本的特性。  卷积神经网络的局部连接、权值共享以及池化操作等特性使之可以有效地降低网络的复杂度，减少训练参数的数目，使模型对平移、扭曲、缩放具有一定程度的不变性，并具有强鲁棒性和容错能力，且易于训练和优化。  目前，常用的深度学习模型有深度置信网络(Deep Belif Network),即DBN，层叠自动去躁编码机SDA，卷

本篇博客主要介绍经典的三层BP神经网络的基本结构及反向传播算法的公式推导。我们首先假设有四类样本，每个样本有三类特征，并且我们在输出层与隐藏层加上一个偏置单元。这样的话，我们可以得到以下经典的三层BP网络结构：当我们构建BP神经网络的时候，一般是有两个步骤，第一是正向传播(也叫做前向传播)，第二是反向传播(也就是误差的反向传播)。Step1 正向传播 在正向传播之前，可以先给W，b赋初始值，

本篇博客主要介绍几种加速神经网络训练的方法。我们知道，在训练样本非常多的情况下，如果一次性把所有的样本送入神经网络，每迭代一次更新网络参数，这样的效率是很低的。为什么？因为梯度下降法参数更新的公式一般为：如果使用批量梯度下降法（一次性使用全部样本调整参数），那么上式中求和那项的计算会非常耗时，因为样本总量m是一个很大的数字。那么由此就有了第一种加速方法：随机梯度下降法，简称SGD。 它的思想是，将...

本篇博客主要介绍基于PyTorch深度学习框架来实现MNIST经典的手写数字，运用CNN卷积神经网络。MNIST数据集来自美国国家标准与技术研究所，其中训练数据有60000张，测试数据有10000张，每张图片的大小是28*28像素我们可以基于PyTorch直接下载该数据集。该识别程序先使用一层卷积层(卷积核数量16，卷积核大小5*5，步长为1，允许边缘扩充)，紧接着激活层使用ReLU函数，之后紧跟...

本篇博客主要介绍在PyTorch框架下，基于LSTM实现手写数字的识别。在介绍LSTM长短时记忆网路之前，我先介绍一下RNN(recurrent neural network)循环神经网络.RNN是一种用来处理序列数据的神经网络，序列数据包括我们说话的语音、一段文字等等。它的出现是为了让网络自己有记忆能力，每个网络模块把信息传给下一个模块，它的网络结构如下：对于输入的一段序列数据（X1,X2,X3...