神经网络
- 定义:具有适应性的简单单元组成的广泛并行互连的网络
神经网络模型
-
神经元模型
-
神经元的“激活函数”:
Sigmoid
函数
指的是S型函数,只要是满足将一个较大范围的输入压缩到一个较小区域的函数都可以
其中下面这个对数几率函数则是Sigmoid函数的典型代表
-
感知机:只有输出层神经元进行激活函数处理,只能解决线性可分问题
-
多层前馈网络:可以用来解决非线性可分问题
- 多层:包含隐层的网络
- 前馈网络:神经元之间不存在同层连接,也不存在跨层连接
即网络拓扑结构上不存在环或回路
万有逼近能力
仅需一个包含足够多神经元的隐层,多层前馈神经网络就能以任意精度逼近任意复杂度的连续函数
- 这是神经网络可以用来解决机器学习问题的数学基础
- 类似具有万有逼近能力的函数还有:傅里叶函数、泰勒展式
BP算法推导
-
误差逆传播算法(
BackPropagation
)
- 迭代学习算法,在迭代的每一轮中采用广义感知机学习规则(梯度下降策略 )