keras如何在验证集加噪声_深度学习框架——Keras

这里主要描述一些关于keras进行深度学习的方法，一方面是方便自己更加熟悉这个框架的操作，另一方面是让想要学习深度学习和使用keras框架的人快速上手。当然更加推荐去看keras的官方文档，本篇大部分信息都是来自官方文档。这里只是对官方文档做了简单的精炼和整理。

keras Sequential顺序模型

model = Sequential() #将sequential顺序模型赋予model变量

model.add(Dense(32, input_dim=784)) #增加一个全连接层

model.add(Activation('relu')) #增加一个激活层

#或者激活层可以合并

model.add(Dense(32,input_dim=784,activation='relu'))

指定输入数据的尺寸

模型需要知道训练数据的尺寸，因此在第一层(后面层的数据尺寸会根据第一层之后自动推断出来)需要接受关于数据尺寸的信息。传递一个inputshape参数给第一层，是一个表示尺寸的元祖(int或None，None代表可以为任意正整数)。input_shape中不包含数据的batch_size。

某些2D层，比如Dense，支持通过inputdim指定输入尺寸，某些3D层支持input_dim和input_length参数。

如果需要对输入指定一个固定的batch_size，可以传递一个batch_size参数给一个层。如果同时将batch_size=32和input_shape=(6,8)传递给一个层，那么每一批输入的尺寸为(32,6,8)。

model = Sequential()

model.add(Dense(32, input_shape=(784,)))

model = Sequential()

model.add(Dense(32, input_dim=784))

模型编译

训练模型之前，需要配置学习过程(compile)。优化器optimizer，可以是现有优化器的字符串标识符，如'Adam'，'adagrad'，也可以是Optimizer类的实例。

损失函数loss，模型试图最小化的目标函数，可以是现有损失函数标识符，如'categorical_crossentropy'或'mse'，也可以是一个具体的目标函数。

评估标准metrics，对任何分类问题，都希望设置metrics=['accuracy']，评估标准可以是现有的标识符，也可以是自定义的评估函数。

# 多分类问题

model.compile(optimizer='rmsprop',

loss='categorical_crossentropy',

metrics=['accuracy'])

# 二分类问题

model.compile(optimizer='rmsprop',

loss='binary_crossentropy',

metrics=['accuracy'])

# 均方误差回归问题

model.compile(optimizer='rmsprop',

loss='mse')

# 自定义评估标准函数

import keras.backend as K

def mean_pred(y_true, y_pred):

return K.mean(y_pred)

model.compile(optimizer='rmsprop',

loss='binary_crossentropy',

metrics=['accuracy', mean_pred])

模型训练

keras在输入数据和标签的numpy矩阵上进行训练，通常会用到fit函数：

# 对于具有 2 个类的单输入模型(二进制分类)：

model = Sequential()

model.add(Dense(32, activation='relu', input_dim=100))

model.add(Dense(1, activation='sigmoid'))

model.compile(optimizer='rmsprop',

loss='binary_crossentropy',

metrics=['accuracy'])

# 生成虚拟数据

import numpy as np

data = np.random.random((1000, 100))

labels = np.random.randint(2, size=(1000, 1))

# 训练模型，以 32 个样本为一个 batch 进行迭代

model.fit(data, labels, epochs=10, batch_size=32)

# 对于具有 10 个类的单输入模型(多分类分类)：

model = Sequential()

model.add(Dense(32, activation='relu', input_dim=100))

model.add(Dense(10, activation='softmax'))

model.compile(optimizer='rmsprop',

loss='categorical_crossentropy',

metrics=['accuracy'])

# 生成虚拟数据

import numpy as np

data = np.random.random((1000, 100))

labels = np.random.randint(10, size=(1000, 1))

# 将标签转换为分类的 one-hot 编码

one_hot_labels = keras.utils.to_categorical(labels, num_classes=10)

# 训练模型，以 32 个样本为一个 batch 进行迭代

model.fit(data, one_hot_labels, epochs=10, batch_size=32)

keras中文文档中还分享了几个典型的实例来帮助我们熟悉模型的搭建。Sequential 顺序模型指引 - Keras 中文文档​keras.io

Keras函数式API

除了sequential顺序模型之外，Keras另一种搭建模型的方式：

from keras.layers import Input, Dense

from keras.models import Model

# 这部分返回一个张量

inputs = Input(shape=(784,)) #定义输入

# 层的实例是可调用的，它以张量为参数，并且返回一个张量

x = Dense(64, activation='relu')(inputs)

x = Dense(64, activation='relu')(x)

predictions = Dense(10, activation='softmax')(x) #定义输出

# 这部分创建了一个包含输入层和三个全连接层的模型

model = Model(inputs=inputs, outputs=predictions)

model.compile(optimizer='rmsprop',

loss='categorical_crossentropy',

metrics=['accuracy'])

model.fit(data, labels) # 开始训练

利用函数式API，可以轻易地重用训练好的模型，就拿上面的模型来说：

x = Input(shape=(784,))

# 这是可行的，并且返回上面定义的 10-way softmax。

y = model(x) #model类的实例化

这种方式可以快速创建处理序列模型输入的模型，比如一行代码将图片分类模型转换为视频分类模型。

from keras.layers import TimeDistributed

# 输入张量是 20 个时间步的序列，

# 每一个时间为一个 784 维的向量

input_sequences = Input(shape=(20, 784))

# 这部分将我们之前定义的模型应用于输入序列中的每个时间步。

# 之前定义的模型的输出是一个 10-way softmax，

# 因而下面的层的输出将是维度为 10 的 20 个向量的序列。

processed_sequences = TimeDistributed(model)(input_sequences)

多输入多输出模型

中文文档上的一个模型，预测Twitter上的一条新闻标题有多少转发和点赞数。模型的主要输入将是新闻标题本身，即一系列词语，但是为了增添趣味，我们的模型还添加了其他的辅助输入来接收额外的数据，例如新闻标题的发布的时间等。 该模型也将通过两个损失函数进行监督学习。较早地在模型中使用主损失函数，是深度学习模型的一个良好正则方法。

主要输入接收新闻标题本身，即一个整数序列(每个整数编码一个词)。 这些整数在 1 到 10,000 之间(10,000 个词的词汇表)，且序列长度为 100 个词。

from keras.layers import Input, Embedding, LSTM, Dense

from keras.models import Model

# 标题输入：接收一个含有 100 个整数的序列，每个整数在 1 到 10000 之间。

# 注意我们可以通过传递一个 "name" 参数来命名任何层。

main_input = Input(shape=(100,), dtype='int32', name='main_input')

# Embedding 层将输入序列编码为一个稠密向量的序列，

# 每个向量维度为 512。

x = Embedding(output_dim=512, input_dim=10000, input_length=100)(main_input)

# LSTM 层把向量序列转换成单个向量，

# 它包含整个序列的上下文信息

lstm_out = LSTM(32)(x)

在这里，我们插入辅助损失，使得即使在模型主损失很高的情况下，LSTM 层和 Embedding 层都能被平稳地训练。

auxiliary_output = Dense(1, activation='sigmoid', name='aux_output')(lstm_out)

此时，我们将辅助输入数据与 LSTM 层的输出连接起来，输入到模型中：

auxiliary_input = Input(shape=(5,), name='aux_input')

x = keras.layers.concatenate([lstm_out, auxiliary_input])

# 堆叠多个全连接网络层

x = Dense(64, activation='relu')(x)

x = Dense(64, activation='relu')(x)

x = Dense(64, activation='relu')(x)

# 最后添加主要的逻辑回归层

main_output = Dense(1, activation='sigmoid', name='main_output')(x)

#然后定义一个具有两个输入和两个输出的模型：

model = Model(inputs=[main_input, auxiliary_input], outputs=[main_output, auxiliary_output])

现在编译模型，并给辅助损失分配一个 0.2 的权重。如果要为不同的输出指定不同的loss_weights或loss，可以使用列表或字典。 在这里，我们给loss参数传递单个损失函数，这个损失将用于所有的输出。

model.compile(optimizer='rmsprop', loss='binary_crossentropy',

loss_weights=[1., 0.2])

#另一种方式：

model.compile(optimizer='rmsprop',

loss={'main_output': 'binary_crossentropy', 'aux_output': 'binary_crossentropy'},

loss_weights={'main_output': 1., 'aux_output': 0.2})

们可以通过传递输入数组和目标数组的列表来训练模型：

model.fit([headline_data, additional_data], [labels, labels],

epochs=50, batch_size=32