神经网络的结构解析及训练过程概述

这篇文章主要介绍三个部分：

1、神经网络的组成单元：神经元的结构模型和公式表示
2、罗列常用的几种激活函数
3、概述三种神经网络模型
4、有监督训练神经网络模型的几个步骤

节选自
http://www.cnblogs.com/heaad/archive/2011/03/07/1976443.html

---

一、人工神经元

神经网络是由很多节点构成的，这些节点又叫做人工神经元（或神经元）。

它的结构如图所示：

x1~xn是输入信号

wij表示表示从神经元j到神经元i的连接权值

θ表示一个阈值 ( threshold )，或称为偏置( bias )

神经元i的输出与输入的关系表示为：

$y_i=f(net_i)$

yi表示神经元i的输出，函数f称为激活函数 ( Activation Function )或转移函数 ( Transfer Function ) ，net称为净激活(net activation)

若将阈值看成是神经元i的一个输入x0的权重wi0，则上面的式子可以简化为：

neti=∑nj=1wijx