神经网络最优学习率寻找（基于keras）

Keras提供两种学习率适应方法，可通过回调函数实现。
1. LearningRateScheduler

keras.callbacks.LearningRateScheduler(schedule)

该回调函数是学习率调度器.
参数

    schedule：函数，该函数以epoch号为参数（从0算起的整数），返回一个新学习率（浮点数）

代码

   

 
 

   
   

    
    

   
   
   
   

    
    

     
     import keras.backend 
     
     as K
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     from keras.callbacks 
     
     import LearningRateScheduler
    
    
   
   

   
   

    
    

   
   
   
   

    
    
     
    
    
   
   

   
   

    
    

   
   
   
   

    
    
    
     
     def scheduler(epoch):
    
    
   
   

   
   

    
    

   
   
   
   

    
    
        
     
     # 每隔100个epoch，学习率减小为原来的1/10
    
    
   
   

   
   

    
    

   
   
   
   

    
    
        
     
     if epoch % 
     
     100 == 
     
     0 
     
     and epoch != 
     
     0:
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
                 lr = K.get_value(model.optimizer.lr)
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
                 K.set_value(model.optimizer.lr, lr * 
     
     0.1)
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
                 print(
     
     "lr changed to {}".format(lr * 
     
     0.1))
    
    
   
   

   
   

    
    

   
   
   
   

    
    
        
     
     return K.get_value(model.optimizer.lr)
    
    
   
   

   
   

    
    

   
   
   
   

    
    
     
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
         reduce_lr = LearningRateScheduler(scheduler)
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
         model.fit(train_x, train_y, batch_size=
     
     32, epochs=
     
     5, callbacks=[reduce_lr])
    
    
   
   
 
 

2. ReduceLROnPlateau

keras.callbacks.ReduceLROnPlateau(monitor='val_loss', factor=0.1, patience=10, verbose=0, mode='auto', epsilon=0.0001, cooldown=0, min_lr=0)

当评价指标不在提升时，减少学习率

当学习停滞时，减少2倍或10倍的学习率常常能获得较好的效果。该回调函数检测指标的情况，如果在patience个epoch中看不到模型性能提升，则减少学习率
参数

    monitor：被监测的量
    factor：每次减少学习率的因子，学习率将以lr = lr*factor的形式被减少
    patience：当patience个epoch过去而模型性能不提升时，学习率减少的动作会被触发
    mode：‘auto’，‘min’，‘max’之一，在min模式下，如果检测值触发学习率减少。在max模式下，当检测值不再上升则触发学习率减少。
    epsilon：阈值，用来确定是否进入检测值的“平原区”
    cooldown：学习率减少后，会经过cooldown个epoch才重新进行正常操作
    min_lr：学习率的下限

 代码

 
 

   
   

    
    

   
   
   
   

    
    
    
     
     from keras.callbacks 
     
     import ReduceLROnPlateau
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
         reduce_lr = ReduceLROnPlateau(monitor=
     
     'val_loss', patience=
     
     10, mode=
     
     'auto')
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
         model.fit(train_x, train_y, batch_size=
     
     32, epochs=
     
     5, validation_split=
     
     0.1, callbacks=[reduce_lr])
    
    
   
   
 
 

---

上述文章转自于 z小白

本文在于如何利用keras寻找最优的学习率，根据Leslie N. Smith，一个简单的方法是将学习率依次从小到大缓慢增加，每个学习率只用于学习一轮（这个按照数据集而异，可以根据学习的难度进行调整，我在step_per_epoch进行了调整）

函数如下：

def scheduler(epoch):
    # 每隔100个epoch，学习率减小为原来的1/10
    if epoch == 0:
        # lr = K.get_value(model.optimizer.lr)
        K.set_value(model.optimizer.lr, 1e-6)
        print('The initial lr is {}'.format(1e-6))
    if epoch % 1 == 0 and epoch != 0:
        lr = K.get_value(model.optimizer.lr)
        K.set_value(model.optimizer.lr, lr * 10)
        print("lr changed to {}".format(lr * 10))
    return K.get_value(model.optimizer.lr)

然后使用上面的LearningRateScheduler方法，设置callback_object，主程序如下,不要忘了打印图片奥。

...
reduce_lr = LearningRateScheduler(scheduler)
history = model.fit_generator(source_gen,\
                    epochs=6, steps_per_epoch=1.5*source_num//args.batch_size,\
                    validation_data=val_gen, validation_steps=5,\
                    callbacks=[reduce_lr])
val_loss = history.history['val_loss']
loss = [1e-6, 1e-5, 1e-4, 1e-3, 0.01, 0.1]

plt.subplot(121)
plt.plot(loss, val_loss)
plt.subplot(122)
plt.scatter(loss, val_loss)
plt.show()
...