神经网络算法的关键参数,神经网络输入输出计算

神经网络参数如何确定

神经网络各个网络参数设定原则：①、网络节点  网络输入层神经元节点数就是系统的特征因子(自变量)个数，输出层神经元节点数就是系统目标个数。隐层节点选按经验选取，一般设为输入层节点数的75%。

如果输入层有7个节点，输出层1个节点，那么隐含层可暂设为5个节点，即构成一个7-5-1 BP神经网络模型。在系统训练时，实际还要对不同的隐层节点数4、5、6个分别进行比较，最后确定出最合理的网络结构。

②、初始权值的确定  初始权值是不应完全相等的一组值。已经证明，即便确定  存在一组互不相等的使系统误差更小的权值，如果所设Wji的的初始值彼此相等，它们将在学习过程中始终保持相等。

故而，在程序中，我们设计了一个随机发生器程序，产生一组一0.5~+0.5的随机数，作为网络的初始权值。

③、最小训练速率  在经典的BP算法中，训练速率是由经验确定，训练速率越大，权重变化越大，收敛越快；但训练速率过大，会引起系统的振荡，因此，训练速率在不导致振荡前提下，越大越好。

因此，在DPS中，训练速率会自动调整，并尽可能取大一些的值，但用户可规定一个最小训练速率。该值一般取0.9。④、动态参数  动态系数的选择也是经验性的，一般取0.6 ~0.8。

⑤、允许误差  一般取0.001~0.00001，当2次迭代结果的误差小于该值时，系统结束迭代计算，给出结果。⑥、迭代次数  一般取1000次。

由于神经网络计算并不能保证在各种参数配置下迭代结果收敛，当迭代结果不收敛时，允许最大的迭代次数。⑦、Sigmoid参数 该参数调整神经元激励函数形式，一般取0.9~1.0之间。⑧、数据转换。

在DPS系统中，允许对输入层各个节点的数据进行转换，提供转换的方法有取对数、平方根转换和数据标准化转换。扩展资料：神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。

主要的研究工作集中在以下几个方面：1.生物原型从生理学、心理学、解剖学、脑科学、病理学等方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。

2.建立模型根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。

3.算法在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。

神经网络用到的算法就是向量乘法，并且广泛采用符号函数及其各种逼近。并行、容错、可以硬件实现以及自我学习特性，是神经网络的几个基本优点，也是神经网络计算方法与传统方法的区别所在。

参考资料：百度百科-神经网络（通信定义）

谷歌人工智能写作项目：神经网络伪原创

LSTM神经网络输入输出究竟是怎样的？

输入输出都是向量，或者说是矩阵写作猫。LSTM用于分类的话，后面一般会接softmax层。

个人浅薄理解，拿动作识别分类举例，每个动作帧放入LSTM中训练，还是根据task来训练每个LSTM单元的Weights。所以LSTM的单元数量跟输入和输出都没有关系，甚至还可以几层LSTM叠加起来用。

分类的话，一般用最后一个单元接上softmax层。LSTM结构是传统的RNN结构扩展，解决了传统RNN梯度消失/爆炸的问题，从而使得深层次的网络更容易训练。从这个角度理解，可能会容易很多。

今年的ResNet也是使传统的CNN更容易训练weights。看来deeplearning越来越深是趋势啊。

如果说训练，就一个关键，所谓LSTMUnroll，将RNN展开成一个静态的“并行”网络，内部有“侧向连接”，实现长的短时记忆功能（状态“记忆”在LSTMCell里）。

如果说预测，也就一个关键，要将Cell的h和C弄出来，作为当前状态（也就是所谓“记忆”）作为init参数输入，这样，携带了当前记忆状态的网络，预测得到的就是下一个输入了，所谓的recurrent了。

那份代码里还包含了一个使用cudnn的实现（built-inRNNoperator），这是一个高性能的版本࿰