DNN模型

Deep Neural Network（DNN）模型是基本的深度学习框架；

（一）神经元计算模型（感知机模型）

1.计算公式：

2.常见响应函数(非线性函数)：

（1）logistic/sigmoid function：

（2）tanh function：

（3）step/binary function：

（4）rectifier function：

（5）analytic function：rectifier function的平滑近似：

（二）DNN模型

1.结构：输入层（1层）——隐层（可以有多层）——输出层（1层）

2.符号表示：

3.计算公式：

（三）训练DNN模型

1.代价函数：