keras避免过拟合 阅读笔记

1.每一层的神经元数量，以及有多少层可以通过validation_loss值来较为直观的查看。 **A lower validation loss signals a better model.**val_loss达到最小值时得到的这个模型通常是最好的。

import matplotlib.pyplot as plt
val_loss = history.history['val_loss']

# b is for "solid blue line"
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Training and validation loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()
plt.show()

2.正则化
根据奥卡姆剃刀原则，简单的模型应该比复杂的模型更不容易过拟合，应该对损失函数进行最小化的同时，也需要让对参数添加限制，这个限制也就是正则化惩罚项。 常用的正则化方式有L1，L2正则化。在keras中，

from keras import regularizers
#三种可用的正则化方法
keras.regularizers.l1(0.)
keras.regularizers.l2(0.)
keras.regularizers.l1_l2(0.)

model.add(layers.Dense(16, kernel_regularizer=regularizers.l2(0.001),
                          activation='relu', input_shape=(10000,)))

3.Dropout
有些中间输出，在给定的训练集上，可能发生只依赖某些神经元的情况，这就会造成对训练集的过拟合。而随机关掉一些神经元，可以让更多神经元参与到最终的输出当中。dropout可以随机的让一部分神经元失活,当我们采用了Dropout之后再训练结束之后，应当将网络的权重乘上概率p得到测试网络的权重。
keras中实现方式：（一般取值在0.2-0.5之间）

model.add(layers.Dropout(0.5))

Reference:
深度学习-避免过拟合