神经网络（持续更新）

1、什么是神经网络？

神经网络是由简单处理单元构成的大规模并行分布式处理器，天然地具有存储经验知识和使之可用的特性。神经网络在两个方面与大脑相似：

1.神经网络是通过学习过程从外界环境中获取知识的。
2.互连神经元的连接强度，即突触权值，用于存储获取的知识

用于完成学习过程的程序称为学习算法，其功能是以有序的方式改变网络的突触权值以获得想要的设计目标。

2、神经网络的优点

1. 神经网络的大规模并行分布式结构；
2. 神经网络的学习能力以及由此而来的泛化能力。

泛化（generalization)： 是指神经网络对未在训练（学习）过程中遇到的数据可以得到合理的输出。

神经网络具有以下性质和能力：

1. 非线性（nonlinearity): 人工神经元可以是线性或者是非线性的。由非线性神经元互相连接而成的神经网络自身是非线性的，并且从某种特别意义上来说，非线性是分布于整个网络中的。非线性是一个非常重要的特性，特别是当产生输入信号（如语音信号）的内部物理机制是天生非线性的时候。
2. 输入输出映射（input-ouput mapping): 称之为有教师学习（learning with a teacher)或监督学习（supervised learning)的关于学习的流行方法。它使用带标号的训练样例（training example）或任务样例（task example）对神经网络的突触权值进行修改。每个样例由一个唯一的输入信号（input signal）和相应的期望（目标）响应（desired (target) response）组成。从一个训练集中随机选取一个样例提供给网络，网络就调整它的突触权值（自由参数），以最小化期望响应和由输入信号以适当的统计准则产生的网络实际响应之间的差别。使用训练集中的很多样例来重复训练神经网络，直到网络大刀队突触权值没有显著修正的稳定状态为止。先前已经使用过的训练样例可能还要在训练期间以不同顺序重复使用。因此当对当前问题来说，神经网络是是通过简历输入输出映射来从样例中学习的。
3. 自适应性（adaptivity）：神经网络具有调整自身突触权值以适应外界环境变化的固有能力。特别