keras添加正则化全连接_【DL项目实战02】图像分类——Keras框架+使用传统神经网络DNN...

版权声明：小博主水平有限，希望大家多多指导。

---

目录：

【使用DNN】

BG大龍：【Deep Learning项目实战02】图像分类——基于Keras+传统神经网络DNN​zhuanlan.zhihu.com

1、数据集情况

2、任务目标

3、调整不同参数，对结果的影响

（1）调整学习率

（2）在全连接层加入dropout

（3）初始化权重参数w

（4）初始化标准差stddev

（5）正则化L2，不同的惩罚力度

4、加载模型，进行测试

【使用CNN】

BG大龍：【DL项目实战02】图像识别分类——Keras框架+卷积神经网络CNN（使用VGGNet）​zhuanlan.zhihu.com

---

1、数据集情况

三分类问题，每个类别数据量1000左右

---

2、任务目标

当输入“image”时候，能否正确识别，识别的acc是多少

---

3、调整不同参数，对结果的影响

（1）调整学习率
（2）在全连接层加入dropout
（3）初始化权重参数w
（4）初始化标准差stddev
（5）正则化L2，不同的惩罚力度

（1）调整学习率

NN结构：

超参：

结果：学习率0.01时候，过拟合严重；学习率0.001时候，过拟合有所缓解

（2）在全连接层加入dropout

API文档 ： 常用层 - Keras中文文档

NN结构：加入dropout

超参：

结果：

（3）初始化权重参数W

API文档： 初始化方法 - Keras中文文档

NN结构：加入keras.initializers.TruncatedNormal，截断分布，默认stddev=0.05

超参：

结果：其中标准差是默认的，stddev=0.05

对比：

（4）初始化标准差stddve

API文档： 初始化方法 - Keras中文文档

NN结构：stddev改成0.01

超参：

结果：

对比：

（5）正则化L2，不同的惩罚力度

API文档： 正则项 - Keras中文文档

NN结构：加入kernel_regularizer=regularizers.l2(0.01)，惩罚力度=0.01

NN结构：加入kernel_regularizer=regularizers.l2(0.05)，惩罚力度=0.05

超参：

结果：
由于图片不好观察，我们就看epoch在【150-200】范围内的

对比：

---

4、加载模型，进行测试

用“image”文件夹，去做预测

结果：