使用回调函数及tensorboard实现网络训练实时监控

神经网络开发的一大特点是， 一旦我们把大规模数据输入网络进行分析时，你的感觉就像抛出一只纸飞机，除了抛出那一刻你拥有控制力外，一旦离手，它怎么飞怎么飘就不再是你能控制得了。神经网络代码的运行就有这个特点，我们不能像平常程序那样设置断点，然后单步调试，一旦运行后，我们只能观察结果。令人郁闷的是，很多时候训练非常耗时，你跑完几个小时后突然发现代码中存在bug，于是你停下程序，修正后你又得等待好几个小时。

幸运的是，keras框架早就意识到这一点，它提供了相应机制能让我们随时监控网络的运行状况。通过前面章节我们看到，通常情况下我们不知道需要几个循环，网络才能达到最佳效果，我们往往让网络训练很多个循环，直到出现过度拟合时，我再观察训练过程数据，从中找到网络达到最佳状况所需的训练循环，然后我们重新设置循环次数后，再将网络重头跑一遍，这是非常耗时，效率低下的工作。

一个好的解决办法是提供一种监控机制，一旦发现网络对校验数据的判断准确率没有明显提升后就停止训练。keras提供了回调机制让我们随时监控网络的训练状况。当我们只需fit函数启动网络训练时，我们可以提供一个回调对象，网络每训练完一个流程后，它会回调我们提供的函数，在函数里我们可以访问网络所有参数从而知道网络当前运行状态，此时我们可以采取多种措施，例如终止训练流程，保存网络所有参数，加载新参数等，甚至我们能改变网络的运行状态。

keras提供的回调具体来说可以让我们完成几种操作，一种是存储网络当前所有参数；一种是停止训练流程；一种是调节与训练相关的某些参数，例如学习率，一种是输出网络状态信息，或者对网络内部状况进行视觉化输出，我们看一些代码例子：

import keras
callbacks_list = [
    #停止训练流程，一旦网络对校验数据的判断率不再提升，patience表示在两次循环间判断率没改进时就停止
    keras.callbacks.EarlyStopping(monitor='acc', patience=1),
    '''
    在每次训练循环结束时将当前参数存入文件my_model.h5,
    后两个参数表明当网络判断率没有提升时，不存储参数
    '''
    keras.callbacks.ModelCheckPoint(filepat='my_model.h5',
                                   monitor='val_loss',
                                   save_best_only=True),
'''
    如果网络对校验数据的判断率在10次训练循环内一直没有提升，下面回调将修改学习率
    '''
    keras.callbacks.ReduceLROnPlateau(monitor='val_loss',
                                     factor=0.1,
                                     patience=10,
                                     )
]

model.compile(optimizer='rmsprop',
             loss='binary_crossentropy',
             metrics=['acc'])
'''
由于回调函数中会监控网络对校验数据判断的准确率，因此训练网络时必须传入校验数据
'''
model.fit(x, y, epochs = 10, callbacks = callbacks_list,
         validation_data = (x_val, y_val))

要想训练出一个精准的网络，一个重要前提是我们能时刻把握网络内部状态的变化情况，如果这些变化能够以视觉化的方式实时显示出来，那么我们就能方便的掌握网络内部的状态变化，keras框架附带的一个组件叫tensorboard能有效的帮我们实现这点，接下来我们构造一个网络，然后输入数据训练网络，然后激活tensorboard，通过可视化的方式看看网络在训练过程中的变化：

import keras;
from keras import layers
from keras.datasets import imdb
from keras.preprocessing import sequence

max_features = 2000
max_len = 500

(x_train, y_train), (x_test, y_test) = imdb.load_data(num_words = max_features)
x_train = sequence.pad_sequences(x_train, maxlen=max_len)
x_test = sequence.pad_sequence(x_test, maxlen = max_len)

model = keras.models.Sequential()
model.add(layers.Embedding(max_features, 128, input_length = max_len,
                          name = 'embed'))
model.add(layers.Conv1D(32, 7, activation='relu'))
model.add(layers.MaxPooling1D(5))
model.add(layers.Conv1D(32, 7, activation='relu'))
model.add(layers.GlobalMaxPooling1D())
model.add(layers.Dense(1))
model.summary()
model.compile(optimizer = 'rmsprop', loss = 'binary_crossentropy',
             metrics = ['acc'])

上面代码我们以前讲解过，这里的重点不再是理解它的逻辑，而是让它跑起来，然后我们使用tensorboard观察网络内在状态的变化，要使用tensorboard，我们需要创建一个目录用于存储它运行时生成的日志：

!mkdir my_log_dir

接着我们给网络注入一个回调钩子，让它在运行时把内部信息传递给tensorbaord组件：

callbacks = [
    keras.callbacks.TensorBoard(log_dir='my_log_dir',
                                #每隔一个训练循环就用柱状图显示信息
                               histogram_freq = 1,
                               embeddings_freq = 1)
]

history = model.fit(x_train, y_train,
                   epochs = 20,
                   batch_size = 128,
                   validation_split = 0.2,
                   callbacks = callbacks)

执行上面代码启动训练后，我们在控制台输入如下命令：

conda activate tensorflow
tensorboard --log_dir=my_log_dir

第一句命令用于激活安装了tensorflow的环境，第二句启动tensorbaord服务器。此时在浏览器里输入:http://localhost:6006就可以打开可视化环境，如下图：

点击histogram，我们可以看到网络内部状态变化以柱状图的方式展现出来：

更强大的是，它会把我们训练的单词向量以可视化的方式展现出来，点击Projector，你会看到如下三维动画：

它使用t-SNE可视化算法把高维向量转换到二维空间上进行展示。点击Graph按钮，它会把网络的模型图绘制出来，让你了解网络的层次结构：

有了回调函数和tensorboard组件的帮助，我们不用再将网络看做是一个无法窥探的黑盒子，通过tensorboard，我们可以在非常详实的视觉辅助下掌握网络的训练流程以及内部状态变化。

更多技术信息，包括操作系统，编译器，面试算法，机器学习，人工智能，请关照我的公众号：

更多内容，请点击进入csdn学院