神经网络基础
MOOC大学课程 商务数据分析跟学笔记
神经网络包括前馈神经网络、反馈神经网络和自组织神经网络
前馈神经网络
前馈神经网络是一种单向多层的网络结构，信息从输入层开始，向一个方向传递，直到输出层结束，信号前向传播的过程中，不调节网络的权重参数，反向传播时，通过BP算法将误差向后传递，修正权值参数，该过程一般通过梯度下降法实现
BP网络
BP网络属于前馈神经网络，模型拓扑结构包括输入层，隐含层和输出层，利用激活函数来实现输入到输出的任意非线性映射
激活函数须满足处处可导的条件。例如， Sigmoid函数连续可微，求导合适，单调递增，输出值是0~1之间的连续量，这些特点使其适合作为神经网络的激活函数
BP计算过程（图片引自吴恩达课程笔记）
单隐层网路结构
前向传播计算与误差计算
误差反向传播更新参数
径向基函数（RBF）网络
RBF网络由输入层，RBF隐层，线性输出层构成
RBF网络采用高斯函数作为核函数
y
=
e
x
p
(
−
(
b
(
x
−
w
)
)
2
)
y = exp(-(b(x-w))^2)
y=exp(−(b(x−w))2)
RBF网络的隐层神经元自带激活函数，所以其层数可以只有一层隐层， 权重值数量更少，所以RBF网络较BP网络速度快很多
目前， RBF神经网络已经成功应用于非线性函数逼近、 数据分类、模式识别、图像处理等方向
反馈神经网络
反馈神经网络内部神经元之间有反馈，可以用一个
无向完全图表示，包括了Hopfield 网络、 BAM网络， Elman网络等
Hopfield网络
Hopfield网络类似人类大脑的记忆原理，即通过关联的方式，将某一件事物与周围场最中的其他事物建立关联，当人们忘记了一部分信息后，可以通过场最信息回忆起来，将缺失的信息找回。通过在反馈神经网络中引入能量函数的概念，使其运行稳定性的判断有了可靠依据，由权重值派生出能量函数是从能量高的位置向能量低的位置转化，稳定点的势能比较低。基于动力学系统理论处理状态的变换，系统的稳定态可用于描述记忆
在Hopfield网络中，学习算法是基于Hebb学习规则，权值调整规则为若相邻两个神经元同时处于兴奋状态，那么他们之间的连接应增强，权值增大；反之，则权值减少
Hopfield网络存在的问题：假记忆问题、存储容量限制、存在局部最优问题
双向联想记忆神经网络（BAM）
具有非监督学习能力，网络的设计比较简单，可大规模并行处理大量数据，具有较好的实时性和容错性。此外，这种联想记忆法无需对输入向量进行预处理，省去了编码与解码的工作
BAM是一种无条件稳定的网络，与Hopfield相比是一种特别的网络，具有输入输出节点，但是Hopfield的不足也一样存在， 即存在假记忆、存储容量限制、局部最优等问题
Elman网络
Elman神经网络是一种循环神经网络，网络中存在环形结构，部分神经元的输出反馈作为输入，而这样的反馈将会出现在该网络的下一个时刻，也即这些神经元在这一时刻的输出结果，反馈回来在下一时刻重新作为输入作用于这些神经元，因此循环神经网络可以有效地应对涉及时序性的问题
自组织神经网络
自组织神经网络又称Kohonen网，这一神经网络的特点是当接收到外界信号刺激时，不同区域对信号自动产生不同的响应。这种神经网络是在生物神经元上首先发现的，如果神经元是同步活跃的则信号加强，如果异步活跃则信号减弱
激活函数
激活函数经常使用Sigmoid函数、 tanh函数、 ReLu 函数
激活函数具有以下性质:
非线性、可微性、单调性、计算简单、归一化
Sigmoid函数
s
′
(
x
)
=
s
(
x
)
(
1
−
s
(
x
)
)
s'(x)=s(x)(1-s(x))
s′(x)=s(x)(1−s(x))
sigmoid函数输出范围有限，为[0,1]，数据传播过程中不容易发散，导数容易计算
问题：梯度下降非常明显，且两头过于平坦，容易出现梯度消失的情况，且输出值域不对称
tanh双曲正切函数
t
a
n
h
′
(
x
)
=
1
−
t
a
n
h
2
(
x
)
tanh'(x)=1-tanh^2(x)
tanh′(x)=1−tanh2(x)
tanh函数输出值域为[-1,1],解决了sigmoid函数输出值域不对称的问题，但梯度消失的问题依然存在
Relu函数
Relu函数是神经网络里常用的激活函数，由于线性的特点，其收敛速度较快，且没有梯度消失的问题
Leaky Relu
用于解决relu函数里死亡神经元的问题
损失函数
损失函数评价模型对样本的拟合度，模型的预测值与输出值越接近，损失函数值越小
softmax
softmax用于分类问题，可以使分类结果更加明显，不同类别之间的差距更大
s
i
=
e
i
∑
j
e
j
s_i=\frac{e^i}{\sum_je^j}
si=∑jejei
crossentropy交叉熵损失
用于二分类问题，分类误差越小，则损失越小，容易产生梯度爆炸问题
L
′
(
w
)
=
A
−
Y
L'(w)=A-Y
L′(w)=A−Y
梯度消失与梯度爆炸
根据BP算法的计算原理，神经网络的梯度更新遵循链式法则的推导结果，与神经网络的层数和激活函数的导数及损失函数的导数有关，如果导数大于1，随着网络层数增多，会产生指数级增长，导致梯度爆炸，如果导数小于1会导致梯度消失
学习率
学习率空值参数每次更新的幅度，常见的学习率调整方法有：
- 基于经验的手动调整
- 固定学习率
- 指数级衰减
- AdaGrad动态调整
- Momentum动态调整
- RMSProp动态调整
- Adam自动调整
3233
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
