一般神经元
对于输入
x=(x1,x2,⋯,xn)T
,
w=(w1,w2,⋯,wn)T
为神经元输入权值,
θ
为偏置,
u(x)
和
f(x)
分别为神经元的基函数和激活函数。基函数
u(x)
为多输入单输出函数
u=u(x,w,θ)
,激活函数
f(x)
一般对基函数输出
u
进行“挤压”,即通过非线性函数
基函数u(x) 的类型
- 线性函数。多层感知器,Hopfield神经网络均采用此种基函数形式。采用线性函数时,基函数输出
u
为输入和阈值的加权和,即
u=∑i=1nwixi+θ=xTw−θ
其中,
x
和
w
均为列向量,
θ
为数。在多维空间中,此基函数形状为一个超平面。 - 距离函数。常用于RBF神经网络。此基函数为
u=∑i=1n(xi−wi)2−−−−−−−−−−√=||x−w||
其中,
w
被称为基函数的中心。其集合意义是向量
x
与
w
的欧式距离。在多维空间中,该基函数的形状是一个以
w
为球心的超球。 - 椭圆基函数。
其在距离函数基础上加上因素上的权重,即
u=∑i=1nci(xi−wi)2−−−−−−−−−−−−√
在多维空间中,其为一个超椭球。
激活函数
u=u(x)
类型
硬极限函数
单极限函数:
y=f(u)={1,u≥00,u<0
或双极限函数:
y=f(u)=sgn(u)={1,u≥0−1,u<0
式中,sgn(u)为符号函数。线性函数
表达式如下
y=f(u)=u
该激活函数通常用于实现函数逼近网络的输出层神经元- 饱和线性函数
饱和线性函数表达式为
y=f(u)=12(|u+1|−|u−1|)
此函数与下列表达式等价
y=f(u)=⎧⎩⎨⎪⎪1u−1,,,u≥11>u>−1u≤−1
- Sigmoid函数
可用于分类、函数逼近与优化问题,严格单增且光滑,其函数形式为
y=f(u)=11+e−λu
其中,
λ
称为Sigmoid函数的增益,是S型函数的斜率函数。
λ
越大,曲线越陡。其被称为双极性Sigmoid函数,值域为
(0,1)
。双曲正切S形激活函数(双极性Sigmoid函数)值域为
(−1,1)
,表达式如下
y=f(u)=tanh(λu)=eλu−e−λueλu+e−λu
- 高斯函数
一般用于RBF神经网络,表达式为
y=f(u)=e−u2δ2
其中,
δ
为高斯函数的宽度或扩展常数,其值越大,函数曲线越平坦, 取值越小。
其中, x 和 w 均为列向量, θ 为数。在多维空间中,此基函数形状为一个超平面。
u=∑i=1n(xi−wi)2−−−−−−−−−−√=||x−w||
其中, w 被称为基函数的中心。其集合意义是向量 x 与 w 的欧式距离。在多维空间中,该基函数的形状是一个以 w 为球心的超球。
其在距离函数基础上加上因素上的权重,即
u=∑i=1nci(xi−wi)2−−−−−−−−−−−−√
在多维空间中,其为一个超椭球。
硬极限函数
单极限函数:
y=f(u)={1,u≥00,u<0
或双极限函数:
y=f(u)=sgn(u)={1,u≥0−1,u<0
式中,sgn(u)为符号函数。
线性函数
表达式如下
y=f(u)=u
该激活函数通常用于实现函数逼近网络的输出层神经元
饱和线性函数表达式为
y=f(u)=12(|u+1|−|u−1|)
此函数与下列表达式等价
y=f(u)=⎧⎩⎨⎪⎪1u−1,,,u≥11>u>−1u≤−1
可用于分类、函数逼近与优化问题,严格单增且光滑,其函数形式为
y=f(u)=11+e−λu
其中, λ 称为Sigmoid函数的增益,是S型函数的斜率函数。 λ 越大,曲线越陡。其被称为双极性Sigmoid函数,值域为 (0,1) 。双曲正切S形激活函数(双极性Sigmoid函数)值域为 (−1,1) ,表达式如下
y=f(u)=tanh(λu)=eλu−e−λueλu+e−λu
一般用于RBF神经网络,表达式为
y=f(u)=e−u2δ2
其中, δ 为高斯函数的宽度或扩展常数,其值越大,函数曲线越平坦, 取值越小。
[1] 田玉波,混合神经网络技术,科学出版社,2009年6月