tensorflow实战（四）——过拟合调参(1)及Colab的GPU使用达到限额

通过Tensorflow实战（三）——解决Google colab 自动掉线问题，我解决了GPU经常被自动卸载的问题，非常开心，于是去找我的Missile测试代码去了。
找完回来，准备训练，突然傻眼了，显示GPU使用已经达到了限额，在网上查了一下，别人说要过24小时后才能在此使用，太难了，我只能用CPU缓慢的进行训练了。

训练配置

我将random_state改为1，以此保持训练集与测试集为固定的，使用控制变量法优化超参数

(x_train, x_test, y_train, y_test) = train_test_split(all_inputs, all_classes, train_size=0.8, random_state=1)

根据前几天的经验，我这里学习率设置的太大了，所以改为：

model.compile(optimizer=tf.keras.optimizers.Adam(0.0003),
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),
              metrics=['sparse_categorical_accuracy'])

听说当训练样本较少时，网络可训练参数不宜过多，不然很容易导致过拟合。
下面，我们将测试LSTM在不同记忆体个数的情况下训练的效果：

NO.1

LSTM第一层和第二层记忆体个数分别为10，80

model = tf.keras.Sequential([
    # 0-255共256个，故第一个参数为256，数据为三位数，故第三个参数为3
    Embedding(256, 3),
    LSTM(10, return_sequences=True),
    Dropout(0.2),
    LSTM(80),
    Dropout(0.2),
    Dense(2, activation='softmax')
])

结果：

NO.2

LSTM第一层和第二层记忆体个数分别为100，80，准确率为0.865

NO.3

LSTM第一层和第二层记忆体个数分别为3，5，准确率为0.885