人工神经网络ANN

一、基本概念

      ANN：Artificial neural network前馈神经网络的缩写

二、模型构建

2.1 神经元

      

2.2 激活函数

意义：激活函数是用来让给神经网络加入非线性因素的，因为线性模型的表达能力不够。如果没有激活函数，那么该网络仅能表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。

激活函数应该如下性质：

1）非线性；

2）连续可微，容易求导，梯度下降法进行参数求解的要求；

3）范围最好不饱和，当有饱和的区间段时，若系统优化进入该阶段，梯度近似为0，网络的学习就会停止；

4）单调性，单调神经网络的误差函数是凸的，容易进行凸优化；

激活函数有哪几种，各自的特点及使用场景？

1）sigmoid