13.Tensorflow之初识Keras(2)

1.创建模型方法

(1)方法一：

#创建模型
model = Sequential()
#在模型中添加全连接层
model.add(Dense(256,input_dim=784,activation='tanh'))
model.add(Dense(100,activation='relu'))
model.add(Dense(10,activation='softmax'))

(2)方法二：

#创建模型
model = Sequential([
        Dense(256,input_dim=784,activation='tanh'),
        Dense(100,activation='relu'),
        Dense(10,activation='softmax')
    ])

---

2.Dropout使用

Dropout使用教程

2.1导入Dropout：

#导入Dense全连接层与Dropout
from keras.layers import Dense,Dropout

2.2Dropout使用

rate表示不更新的参数占比

(1)方法一：

#创建模型
model = Sequential()
#在模型中添加全连接层
model.add(Dense(256,input_dim=784,activation='tanh'))
#使用Dropout
model.add(Dropout(rate=0.2))
model.add(Dense(100,activation='relu'))
model.add(Dropout(rate=0.4))
model.add(Dense(10,activation='softmax'))

(2)方法二：

#创建模型
model = Sequential([
        Dense(256,input_dim=784,activation='tanh'),
        Dropout(rate=0.2),
        Dense(100,activation='relu'),
        Dropout(rate=0.4),
        Dense(10,activation='softmax')
    ])

---

3.正则化使用

正则化使用教程：正则化器的使用

3.1导入正则化包

#导入正则化
from keras.regularizers import l1,l2

3.2使用正则化

(1)方法一：

#创建模型
model = Sequential()
#在模型中添加全连接层
model.add(Dense(256,input_dim=784,activation='tanh',kernel_regularizer=l2(0.01)))
model.add(Dense(100,activation='relu',kernel_regularizer=l2(0.01)))
model.add(Dense(10,activation='softmax'))

(2)方法二：

#创建模型
model = Sequential([
		Dense(256,input_dim=784,activation='tanh',kernel_regularizer=l2(0.01)),
        Dense(100,activation='relu',kernel_regularizer=l2(0.01)),
        Dense(10,activation='softmax')
    ])

---

4.Batch Normalization使用

4.1Batch Normalization优点

（1）加速收敛
（2）控制过拟合，可以少用或不用Dropout和正则
（3）降低网络对初始化权重不敏感
（4）允许使用较大的学习率

4.2Keras中使用教程：Batch Normalization

from keras.layers import BatchNormalizationa

BatchNormalizationa(axis=1)

记住这句话：

---

5.MNIST之CNN

import keras
import numpy as np
#Sequential顺序模型
from keras.models import Sequential
#导入keras.layers中相关模块
from keras.layers import Dense,Dropout,Conv2D,MaxPool2D,Flatten,BatchNormalization
#导入优化器
from keras.optimizers import Adam
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets('MNIST_data/',one_hot=True)

#读取数据
x_train = mnist.train.images
y_train = mnist.train.labels
x_test = mnist.test.images
y_test = mnist.test.labels

#调整数据shape
x_train = x_train.reshape(-1,28,28,1)/255.
x_test = x_test.reshape(-1,28,28,1)/255.

#创建模型
model = Sequential([
        #第一层卷积
        Conv2D(32,5,
               padding='same',
               activation='relu',
               #初始化权重
               kernel_initializer=keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None),
               #第一次输入的shape
               input_shape = (28,28,1)
              ),
        
        #BatchNormalization
        BatchNormalization(axis=1),
        
        #第一次池化
        MaxPool2D(strides=2,
                 padding='same'
                ),
        
        #第二层卷积
        Conv2D(64,5,
               padding='same',
               activation='relu',
               #初始化权重
               kernel_initializer=keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None),
              ),
        
        #BatchNormalization
        BatchNormalization(axis=1),

        #第二次池化
        MaxPool2D(strides=2,
                 padding='same'
                ),
        
        #将第二次池化后的数据扁平化
        Flatten(),
        
        #第一个全连接层
        Dense(640,activation='relu'),
        
        #Dropout
        Dropout(0.3),
        
        #第二个全连接层
        Dense(10,activation='softmax'),
    ])

        
#修改优化器中的学习率
adam = Adam(lr=0.001,decay=0.0005)

#编译模型
model.compile(
    #选择自己修改后的优化器
    optimizer=adam,
    #选择损失函数
    loss='categorical_crossentropy',
    #计算精度
    metrics=['accuracy']
)

#训练模型
model.fit(x_train,y_train,batch_size=100,epochs=5)

#测试模型
#这里loss,acc与model.compile中的一致，如果model.compile没定义accuracy,则不会返回acc
loss,acc = model.evaluate(x_test,y_test)

print('loss:',loss)
print('accuracy:',acc)

5.1相关用法

Conv2D:卷积层
MaxPool2D:池化层