机器学习——人工神经网络之参数设置（BP算法）

目录

一、复习（BP算法）

二、训练模型的建议

三、参数设置内容

1、随机梯度下降（SGD）

2、激活函数的选择

（1）sigmoid

(2)tanh双曲正切函数

3、训练数集初始化

4、（w,b）的初始化

​

1）什么是梯度消失现象？

2）什么是梯度爆炸现象？

3）如何对w,b进行初始化来避免梯度消失？

 >>>问题1：怎么从区间中均匀随机取值？

5、Batch Normalization(不懂)

6、目标函数的选择处理

1）加正则项

2）对目标函数进行改造

7、参数更新策略

（1）常规的更新

2）SGD的问题

​ 3）解决SGD问题的方法

8、训练建议

四、神经网络相较于SVM算法的优劣势

---

 

---

一、复习（BP算法）

二、训练模型的建议

第2点意思是从训练集中分出一部分样本来作为验证数集来验证模型，一般是将训练集分成多组，每一次一组数据集作为验证集，每一组数据集轮换作为验证数集，直到所有训练数据都被验证过为止，类似于《SVM——交叉验证》

三、参数设置内容

 

1、随机梯度下降（SGD）

 

2、激活函数的选择

（1）sigmoid

(2)tanh双曲正切函数

3、训练数集初始化

常用的初始化

4、（w,b）的初始化

1）什么是梯度消失现象？

答：当取sigmoid函数作为激励函数（上图fai函数）时，因为sigmoid函数的导数小于等于0.25，所以当w很小时，目标函数E对w的偏导后向传播不断地由输出层反向向输入层传播训练，随着神经网络层数的增多&#x