神经网络相关

***深度学习基本概念（1）

---

1. 神经网络相关基本概念

i ) AI > ML > DL

人工智能（Artificial Intelligence）
机器学习（Machine Learning）：算法分析，然后预测
深度学习（Deep Leaning）: 主要是神经网络

ii ) CNN

iii) RNN

iv ) DNN

2. 单层神经网络训练过程

3. 关键参数

样本、权重、激活函数、损失函数

4.激活函数

所有的激活函数都是非线性函数，作用就是引入非线性

常用的激活函数：
1. Sigmoid，tanh，ReLU，Maxout激活函数特点
2. Sigmoid/ReLU/LeakyReLU/PReLU/ELU
1）Sigmoid
优：输出范围有限(0, 1)，所以数据在传递的过程中不容易发散；用作输出层，输出表示概率；求导容易
缺：饱和的时候梯度太小

梯度衰减：低层基本接收不到有效信号

2）tanh
sigmoid函数向下平移和收缩后的结果
sigmoid和tanh激活函数有共同的缺点：即在z很大或很小时，梯度几乎为零，因此使用梯度下降优化算法更新网络很慢。

3）ReLU

4）LSTM