神经网络原理

神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。人脑中的神经网络是一个非常复杂的组织。成人的大脑中估计有1000亿个神经元。

分类

发展历程

神经网络的发展背后的外在原因可以被总结为：更强的计算性能，更多的数据，以及更好的训练方法。只有满足这些条件时，神经网络的函数拟合能力才能得已体现。

训练原理

神经元分为三种不同类型的层次，输入层，隐藏层，输出层。

每个神经元都有权重、偏差和激活函数。 信息进入输入层，神经元通过权重和偏差对输入信息进行线性变换，而非线性变换由激活函数完成。 信息从输入层传输到隐藏层，隐藏层对信息进行处理并将结果发送到输出层。 这被称为前向传播。如果产生的输出偏离预期值呢？ 在神经网络中，我们将根据误差更新神经元的权重和偏差。 这个过程被称为反向传播。一旦所有训练数据经过了这一过程，则最终的权重和偏差就被用于测试。

神经网络训练的原理即定义隐藏层的神经元，调整权值，找到能够在一个给定数据集上性能良好的拟合函数。这里有一个指导思想：泛逼近性原理，指的是具有一个隐藏层的神经网络可以近似任何一个你想要的的函数，你想要它近似得多好，就能有多好。

常用的激活函数如下表。

训练算法