机器学习：【8】网络优化和超参数选择【含新坑 交叉验证 正则化】

网络容量：

可以认为与网络中的可训练参数成正比。

假设空间（hypothesis space） 是指一个机器学习算法可以生成的所有函数的集合。这个函数集合就代表了一个机器学习算法的拟合能力。

网络中神经单元越多，层数越多，神经网络的拟合能力越强。同样的训练的难度越大，也越容易出现过拟合现象。如何提高网络的拟合能力？和容易想到以下两个办法：

• 增加层

• 增加隐藏神经元数

增加网络的深度会大大提高网络能力（深度学习），但是单层神经元个数不能太小，会造成信息瓶颈。

Dropout（抑制过拟合）：

深度学习中Dropout原理解析_Microstrong0305的博客-CSDN博客_dropout

没有Dropout的时候，对于相同的训练数据训练5个不同的神经网络，会得到5个不同结果，经过取平均值来决定最终结果。

而Dropout可以减少神经元间的共适应关系，它会导致两个神经元不一定每次都会出现在同一个神经网络中，权值的更新相当于不是受到特定神经元的固定关系限制，从而阻止了某些特征仅仅在特定状况下才有效果的情况。

另一个办法是正则化，这也是个新坑

过拟合&欠拟合：

过拟合：训练集上得分高，测试集上的得分低

欠拟合：训练集、测试集得分都低（解决方案：增加拟合能力）

理想模型是在这两者之间的。

参数选择原则（保证网络容量足够拟合数据）：

1. 开发一个过拟合的模型（更多的层；更大的层；训练次数增加）
2. 抑制过拟合（dropout；正则化；图像增强）【但是最好的办法是增加训练数据~~其次是减小网络容量】
3. 调节超参数（学习速率；隐藏层单元数；训练轮次）

交叉验证？？新坑，记一下。

#本代码基于tensorflow2.0
#使用的为Fashion MNIST数据集
#使用loss函数为categorical_crossentropy，要求label为独热编码

import tensorflow as tf
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

#1 导入数据
(train_image, train_lable), (test_image, test_label) = tf.keras.datasets.fashion_mnist.load_data()
train_image.shape #查看图片的格式
train_lable.shape #查看图片标签
test_image.shape, test_label.shape #查看测试集图片格式和标签
plt.imshow(train_image[0]) #查看其中一个图片
np.max(train_image[0]) #可以看出图片的颜色最大值为255s

train_image = train_image/255 #这两行用来将数据进行归一化，都变成0-1之间的数
test_image = test_image/255

#1.5 对标签进行独热编码
train_label_onehot = tf.keras.utils.to_categorical(train_lable)
test_label_onehot = tf.keras.utils.to_categorical(test_label)

#2 建立模型
model = tf.keras.Sequential()
model.add(tf.keras.layers.Flatten(input_shape=(28,28)))  
#因为28*28的数据是不能够进行Dense运算的，要用上面一行转化为一维数据（扁平化为很长的向量）
model.add(tf.keras.layers.Dense(128, activation='relu')) #一个隐藏层
model.add(tf.keras.layers.Dropout(0.5)) #加入dropout层，参数为rate（0-1，表示丢弃比例）
model.add(tf.keras.layers.Dense(128, activation='relu'))
model.add(tf.keras.layers.Dropout(0.5))
model.add(tf.keras.layers.Dense(128, activation='relu'))
model.add(tf.keras.layers.Dropout(0.5))
model.add(tf.keras.layers.Dense(10, activation='softmax')) #输出一个概率值
model.summary()

#3 模型编译
model.compile(optimizer='adam',
              loss='categorical_crossentropy', #独热编码要使用这个loss函数
              metrics=['acc']
)

#4 模型训练
history = model.fit(train_image, train_label_onehot, 
          epochs=10,
          validation_data=(test_image, test_label_onehot) #输出在训练和测试集上的loss和acc
)

#5 模型评价
model.evaluate(test_image, test_label_onehot) #在测试集上进行评价

# 绘制训练集和测试集上的loss函数大小（可以直观看出过拟合）
plt.plot(history.epoch, history.history.get('loss'), label='loss')
plt.plot(history.epoch, history.history.get('val_loss'), label='val_loss')
plt.legend()

# 绘制训练集和测试集上的acc大小（可以直观看出过拟合）
plt.plot(history.epoch, history.history.get('acc'), label='acc')
plt.plot(history.epoch, history.history.get('val_acc'), label='val_acc')
plt.legend()

#6 模型预测
predict = model.predict(test_image)
predict.shape #可以查看到每个输出为长度为10的向量
np.argmax(predict[0]) #可以得到每个输出中概率最大的分量