1.创建模型方法
(1)方法一:
#创建模型
model = Sequential()
#在模型中添加全连接层
model.add(Dense(256,input_dim=784,activation='tanh'))
model.add(Dense(100,activation='relu'))
model.add(Dense(10,activation='softmax'))
(2)方法二:
#创建模型
model = Sequential([
Dense(256,input_dim=784,activation='tanh'),
Dense(100,activation='relu'),
Dense(10,activation='softmax')
])
2.Dropout使用
Dropout使用教程
2.1导入Dropout:
#导入Dense全连接层与Dropout
from keras.layers import Dense,Dropout
2.2Dropout使用
rate表示不更新的参数占比
(1)方法一:
#创建模型
model = Sequential()
#在模型中添加全连接层
model.add(Dense(256,input_dim=784,activation='tanh'))
#使用Dropout
model.add(Dropout(rate=0.2))
model.add(Dense(100,activation='relu'))
model.add(Dropout(rate=0.4))
model.add(Dense(10,activation='softmax'))
(2)方法二:
#创建模型
model = Sequential([
Dense(256,input_dim=784,activation='tanh'),
Dropout(rate=0.2),
Dense(100,activation='relu'),
Dropout(rate=0.4),
Dense(10,activation='softmax')
])
3.正则化使用
正则化使用教程:正则化器的使用
3.1导入正则化包
#导入正则化
from keras.regularizers import l1,l2
3.2使用正则化
(1)方法一:
#创建模型
model = Sequential()
#在模型中添加全连接层
model.add(Dense(256,input_dim=784,activation='tanh',kernel_regularizer=l2(0.01)))
model.add(Dense(100,activation='relu',kernel_regularizer=l2(0.01)))
model.add(Dense(10,activation='softmax'))
(2)方法二:
#创建模型
model = Sequential([
Dense(256,input_dim=784,activation='tanh',kernel_regularizer=l2(0.01)),
Dense(100,activation='relu',kernel_regularizer=l2(0.01)),
Dense(10,activation='softmax')
])
4.Batch Normalization使用
4.1Batch Normalization优点
(1)加速收敛
(2)控制过拟合,可以少用或不用Dropout和正则
(3)降低网络对初始化权重不敏感
(4)允许使用较大的学习率
4.2Keras中使用教程:Batch Normalization
from keras.layers import BatchNormalizationa
BatchNormalizationa(axis=1)
记住这句话:
5.MNIST之CNN
import keras
import numpy as np
#Sequential顺序模型
from keras.models import Sequential
#导入keras.layers中相关模块
from keras.layers import Dense,Dropout,Conv2D,MaxPool2D,Flatten,BatchNormalization
#导入优化器
from keras.optimizers import Adam
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets('MNIST_data/',one_hot=True)
#读取数据
x_train = mnist.train.images
y_train = mnist.train.labels
x_test = mnist.test.images
y_test = mnist.test.labels
#调整数据shape
x_train = x_train.reshape(-1,28,28,1)/255.
x_test = x_test.reshape(-1,28,28,1)/255.
#创建模型
model = Sequential([
#第一层卷积
Conv2D(32,5,
padding='same',
activation='relu',
#初始化权重
kernel_initializer=keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None),
#第一次输入的shape
input_shape = (28,28,1)
),
#BatchNormalization
BatchNormalization(axis=1),
#第一次池化
MaxPool2D(strides=2,
padding='same'
),
#第二层卷积
Conv2D(64,5,
padding='same',
activation='relu',
#初始化权重
kernel_initializer=keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None),
),
#BatchNormalization
BatchNormalization(axis=1),
#第二次池化
MaxPool2D(strides=2,
padding='same'
),
#将第二次池化后的数据扁平化
Flatten(),
#第一个全连接层
Dense(640,activation='relu'),
#Dropout
Dropout(0.3),
#第二个全连接层
Dense(10,activation='softmax'),
])
#修改优化器中的学习率
adam = Adam(lr=0.001,decay=0.0005)
#编译模型
model.compile(
#选择自己修改后的优化器
optimizer=adam,
#选择损失函数
loss='categorical_crossentropy',
#计算精度
metrics=['accuracy']
)
#训练模型
model.fit(x_train,y_train,batch_size=100,epochs=5)
#测试模型
#这里loss,acc与model.compile中的一致,如果model.compile没定义accuracy,则不会返回acc
loss,acc = model.evaluate(x_test,y_test)
print('loss:',loss)
print('accuracy:',acc)