MNIST数据集分类&Dropout

import numpy as np
from keras.datasets import mnist  #MNIST数据集
from keras.utils import np_utils
from keras.models import Sequential
from keras.layers import Dense
from keras.optimizers import SGD

#载入数据
(x_train,y_train),(x_test,y_test) = mnist.load_data()
#(60000,28,28)
print('x_shape',x_train.shape)
#(60000)
print('y_shape',y_train.shape)

#(60000,28,28)->(60000,784)
x_train = x_train.reshape(x_train.shape[0],-1)/255.0  
#-1可以自动转换成合适的列数，经转换后就可以转换为60000行，784列。
x_test = x_test.reshape(x_test.shape[0],-1)/255.0 
#除以255是为了归一化

#转 one hot格式
y_train = np_utils.to_categorical(y_train,num_classes=10)
y_test = np_utils.to_categorical(y_test,num_classes=10)

#创建模型，输入784个神经元，输出10个神经元
model = Sequential([
    Dense(units=10,input_dim=784,bias_initializer='one',activation='softmax')
]) #bias_initializer 偏置值

#定义优化器,loss function,训练过程中计算准确率
sgd = SGD(lr=0.2) #学习率为0.2

model.compile(
    optimizer = sgd,
    loss = 'mse',
    metrics=['accuracy'],      #准确率

)

#训练数据集
model.fit(x_train,y_train,batch_size=32,epochs=10)#每个batch都有32张图片，epochs是训练周期，数据集中有60000张图片，每次取32张图片训练，60000张全部取完为循环一次

#评估模型
loss,accuracy = model.evaluate(x_test,y_test)

print('\ntest loss',loss)
print('accuracy',accuracy)

模型层数太少，因此训练结果不是很准确，下面进行改进。

使用Dropout

增加模型层数可以提升模型的准确率
如果数据量过大，则应该使用dropout这种方法，否则很容易产生过拟合的现象，影响测试集的准确率
训练集和测试集的准确率差距可能会非常大

import numpy as np
from keras.datasets import mnist  #MNIST数据集
from keras.utils import np_utils
from keras.models import Sequential
from keras.layers import Dense,Dropout #这个地方改了！！！导入Dropout！！！
from keras.optimizers import SGD

#载入数据
(x_train,y_train),(x_test,y_test) = mnist.load_data()
#(60000,28,28)
print('x_shape',x_train.shape)
#(60000)
print('y_shape',y_train.shape)
#(60000,28,28)->(60000,784)
x_train = x_train.reshape(x_train.shape[0],-1)/255.0  #-1可以自动转换成合适的列数，经转换后就可以转换为60000行，784列。
x_test = x_test.reshape(x_test.shape[0],-1)/255.0  #除以255是为了归一化
#转 one hot格式
y_train = np_utils.to_categorical(y_train,num_classes=10)
y_test = np_utils.to_categorical(y_test,num_classes=10)

#创建模型，输入784个神经元，输出10个神经元
#下面这个地方也改了，加了隐藏层！！！！！！！！！！！！！可以在创建的时候就加一层，也可以像之前的时候那样在下面add（dense（...））
#注意层与层之间要加‘，’隔开
model = Sequential([
    Dense(units=200,input_dim=784,bias_initializer='one',activation='tanh'),
    Dropout(0.4),#这里设置0.4可以使40%的神经元不工作
    Dense(units=100,bias_initializer='one',activation='tanh'),
    Dropout(0.4),
    Dense(units=10,bias_initializer='one',activation='softmax')
]) #bias_initializer 偏置值

#定义优化器,loss function,训练过程中计算准确率
sgd = SGD(lr=0.2) #学习率为0.2

model.compile(
    optimizer = sgd,
    loss = 'categorical_crossentropy',
    metrics=['accuracy'],      #准确率

)

#训练数据集
model.fit(x_train,y_train,batch_size=32,epochs=10)#每个batch都有32张图片，epochs是训练周期，数据集中有60000张图片，每次取32张图片训练，60000张全部取完为循环一次

#评估模型
loss,accuracy = model.evaluate(x_test,y_test)

print('\ntest loss',loss)
print('accuracy',accuracy)

loss,accuracy = model.evaluate(x_train,y_train)

print('\ntrain loss',loss)
print('train accuracy',accuracy)