转载来自:http://blog.sina.com.cn/s/blog_4999033d0100wqct.html
实际的生物神经工作在电脉冲输入和输出的情形;输入是由“触突”完成的,触突的前面是上一个神经元的输出——轴突,后面是本神经元的细胞体——神经细胞膜;细胞膜和神经元的轴突是相连的,所以一个神经细胞的输出是个一次性的激发过程——输出一个电脉冲;因此,神经细胞膜的动作代表着这个细胞的整体行为,它是在输入不断刺激下,当激发化学成分达到一定程度时的一次“激动”。
y=a*x1+b*x2+c*x3+d*x4 的形式;其中的输入数量(这里为4)认为是输入“信息”空间的大小。但是,如此的神经元如果我们将它们级联许多,其效果如同一个神经元,因为其中只有“线性”的关系。生物在自然形成中具有很好的优化和“智慧”;一个神经元的输出,我们已经说明了,它不是一下子就传递的,是要有积累的,并且输出的脉冲每次也是单一的,有限的;所以实际的神经元的输出对输入而言是呈“非线性”的;在人为的神经元中就是函数f,它是一个非线性的影射函数;它的存在十分重要,它能将有限的输入空间维数加以增加,使神经网络具有识别复杂形状的能力!
一个如下功能的神经元能干什么哪?
y =f(a*x1+b*x2+c*x3+d*x4)
这个例子中选用了4个输入变量(x1,x2,x3,x4),所以输入空间的维数是4. 而触突强度(a,b,c,d)实际上是对这些变量的一个限制。如我们解如下方程,
a*x1+b*x2+c*x3+d*x4=0
我们能知道,变量所在的区域是一个在4维空间中镶嵌的一个“平面”,我们叫它“超平面”(3维空间,比样本空间少一维)。其中这个平面有一个正方向,即平面的“法”矢量方向,以以上例子,这个法向矢量就是(a,b,c,d)。
da = r * (Yi - yi)* x1i,
a = a + da
其中r是一个较小的正数。i取1到n,轮流进行学习。学习中r如果很大会出现学习的跳跃,甚至发散;对复杂的问题要用级联的网络,网络中间的神经元数量越多学习的用时就越短;因为神经网络对问题事先是不知道的,中间层的神经元决定的“超平面”全都是随机的;一旦“超平面”趋向问题的解决方向学习就会很快结束。