神经网络一般架构（BP）

专业词汇

       神经网络(neural networks) 
       神经元(neuro）
      "阈值" (threshold)
      "激活函数" (activation function)
      "挤压函数" (squashig function）
       感知机(Perceptron)
       "阔值逻辑单元" (threshold logic unit)
       "哑结点" (dummy node) 
       功能神经元(functionalneuron)
       线性可分(linearly separable)
       收敛(converge) 
       振蔼(fluctuation)
       隐居或隐含层(hidden layer)
       "多层前馈神经网络" (multi-layer feedforward neural networks)
       "连接权" (connection weight)
       误差逆传播(error BackPropagation）
       梯度下降(gradient descent）
      累积误差逆传 播(accumulated error backpropagation）
      "试错法" (trial-by-error)
      "早停" (early stopping):
      "正则化" (regularization) 
      "局部极小" (local minimum)
      "全局最小" (global minimum)

1.神经网络概述

• 神经网络视为包含了许多参数的数学模型，这个模型是若干个函数。
• 神经网 络"学"到的东西，蕴涵在连接权与阙值中
• [Hornik et al., 1989] 证明，只需二个包含足够多神经元的隐层，多层前馈网络就能以任意精度逼近任意复杂度的连续函数然而，如何设置隐层神经元的个数仍是个未决问题，实际应用中通常靠"试错法" 调整.---------虽然两层能解决很多问题，但权重学习是非常困难的，所以一般分部完成，就形成了多层网络（不只两层）

2.简单的神经网络

感知机

• 感知机有两层神经元：输入层和输出层
• 输入层：接收外界输