神经网络初识

神经网络有一下两点

• 大规模分布式结构
• 神经网络学习能力及由此而来的泛化能力

 *泛式是指神经网络对不在训练（学习） 集中的数据可以产生合理的输出

但具体上，一个复杂的问题往往分解成若干相对简单的任务，而神经网络处理其能力相符的子任务

神经网络的性质与能力

          非线性很重要，特别当产生输入信号内部的物理机制是天生非线性时 。

          无参数统计推断法中，非参数表达的事实是，没有对输入数据的统计模型做任何假设。

          比如，考虑一个模式分类任务，这里要求是把代表具体物体或事件的输入信号分类到几个预先分类好的类中去。这个问题的非参数方法中，要求利用例子集中“估计”输入信号空间中分类任务的任意判决边界，并且不使用概率分布模型。

            从训练集中随机选取一个样本给网络，网络就调整它的突触权值（自由参数），以最小化期望响应和由输入信号以适当的统计准则产生的实际响应间的差别。使用训练集中的很多例子重复神经网络的训练，直到网络到达没有显著的突触权值修正的稳定状态 

          神经网络嵌入了一个调整自身突触值以适应外界变化的能力

          在一个时变环境（即它的统计特性时间变化）中运行时，网络突触权值就可以设计成随时间变化。用于模式识别、信号处理和控制的神经网络与它的自适应能力耦合，就可以变成能进行自适应模式识别、自适应信号处理和自适应控制的有效工具。

          在保证系统保持稳定性时一个系统的自适应性越好，当要求在一个时变环境运行时它的性能就越具有鲁棒性，

        但注意* ，自适应性不一定导致鲁棒性

比如说寄生干扰，为最大实现自适应性，系统的主要时间常数应该长到可以忽略寄生干扰且短到可以反映环境的重要变化

这是一个稳定性——可塑性困境

          提供决策的置信度，用来拒判那些过于模糊的模式 。

        网络的特定结构和激发状态代表知识。网络中每一个神经元潜在的受网络中所有其他神经元全局活动的影响 。

        一个以硬件形式实现后的升级为了有天生容错的潜质，或者鲁棒计算能力，即它的性能在不利条件下逐渐下降。

        为了确保网络事实上的容错性，有必要在设计训练网络的算法时采用正确的度量。 

         神经网络的大规模并行性使它具有快递处理某些任务的能力 ，这一特性是的神经网络很适合用超大集成技术实现。VLSL的

一个特殊优点是提供一个以 高分度的方式捕捉真实复杂性行为方法

1. 非线性

2.  输入输出映射

3. 适应性

4. 证据响应

5. 背景信息

6. 容错性

7. VLSL实现

8. 分析和设计的一致性

9. 神经生物类比