TensorFlow学习 keras-调整学习率

最新推荐文章于 2023-05-03 11:43:53 发布

未生无

最新推荐文章于 2023-05-03 11:43:53 发布

阅读量1.3k

点赞数

分类专栏： tensorflow

原文链接：https://blog.csdn.net/zzc15806/article/details/79711114

版权

tensorflow 专栏收录该内容

19 篇文章 0 订阅

订阅专栏

Keras提供两种学习率适应方法，可通过回调函数实现。

1. LearningRateScheduler

keras.callbacks.LearningRateScheduler(schedule)

该回调函数是学习率调度器.

参数

schedule：函数，该函数以epoch号为参数（从0算起的整数），返回一个新学习率（浮点数）

代码


 
 
   
   
    
    
   
   
   
   
    
    
     
     import keras.backend 
     
     as K
    
    
   
   

   
   
    
    
   
   
   
   
    
    
     
     from keras.callbacks 
     
     import LearningRateScheduler
    
    
   
   

   
   
    
    
   
   
   
   
    
     
    
    
   
   

   
   
    
    
   
   
   
   
    
    
     
     def scheduler(epoch):
    
    
   
   

   
   
    
    
   
   
   
   
    
        
     
     # 每隔100个epoch，学习率减小为原来的1/10
    
    
   
   

   
   
    
    
   
   
   
   
    
        
     
     if epoch % 
     
     100 == 
     
     0 
     
     and epoch != 
     
     0:
    
    
   
   

   
   
    
    
   
   
   
   
    
    
     
             lr = K.get_value(model.optimizer.lr)
    
    
   
   

   
   
    
    
   
   
   
   
    
    
     
             K.set_value(model.optimizer.lr, lr * 
     
     0.1)
    
    
   
   

   
   
    
    
   
   
   
   
    
    
     
             print(
     
     "lr changed to {}".format(lr * 
     
     0.1))
    
    
   
   

   
   
    
    
   
   
   
   
    
        
     
     return K.get_value(model.optimizer.lr)
    
    
   
   

   
   
    
    
   
   
   
   
    
     
    
    
   
   

   
   
    
    
   
   
   
   
    
    
     
     reduce_lr = LearningRateScheduler(scheduler)
    
    
   
   

   
   
    
    
   
   
   
   
    
    
     
     model.fit(train_x, train_y, batch_size=
     
     32, epochs=
     
     300, callbacks=[reduce_lr])

2. ReduceLROnPlateau

keras.callbacks.ReduceLROnPlateau(monitor='val_loss', factor=0.1, patience=10, verbose=0, mode='auto', epsilon=0.0001, cooldown=0, min_lr=0)

当评价指标不在提升时，减少学习率

当学习停滞时，减少2倍或10倍的学习率常常能获得较好的效果。该回调函数检测指标的情况，如果在patience个epoch中看不到模型性能提升，则减少学习率

参数

monitor：被监测的量
factor：每次减少学习率的因子，学习率将以lr = lr*factor的形式被减少
patience：当patience个epoch过去而模型性能不提升时，学习率减少的动作会被触发
mode：‘auto’，‘min’，‘max’之一，在min模式下，如果检测值触发学习率减少。在max模式下，当检测值不再上升则触发学习率减少。
epsilon：阈值，用来确定是否进入检测值的“平原区”
cooldown：学习率减少后，会经过cooldown个epoch才重新进行正常操作
min_lr：学习率的下限

代码


 
 
   
   
    
    
   
   
   
   
    
    
     
     from keras.callbacks 
     
     import ReduceLROnPlateau
    
    
   
   

   
   
    
    
   
   
   
   
    
    
     
     reduce_lr = ReduceLROnPlateau(monitor=
     
     'val_loss', patience=
     
     10, mode=
     
     'auto')
    
    
   
   

   
   
    
    
   
   
   
   
    
    
     
     model.fit(train_x, train_y, batch_size=
     
     32, epochs=
     
     300, validation_split=
     
     0.1, callbacks=[reduce_lr])

                    <li class="tool-item tool-active is-like "><a href="javascript:;"><svg class="icon" aria-hidden="true">
                        <use xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="#csdnc-thumbsup"></use>
                    </svg><span class="name">点赞</span>
                    <span class="count">17</span>
                    </a></li>
                    <li class="tool-item tool-active is-collection "><a href="javascript:;" data-report-click="{&quot;mod&quot;:&quot;popu_824&quot;}"><svg class="icon" aria-hidden="true">
                        <use xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="#icon-csdnc-Collection-G"></use>
                    </svg><span class="name">收藏</span></a></li>
                    <li class="tool-item tool-active is-share"><a href="javascript:;" data-report-click="{&quot;mod&quot;:&quot;1582594662_002&quot;}"><svg class="icon" aria-hidden="true">
                        <use xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="#icon-csdnc-fenxiang"></use>
                    </svg>分享</a></li>
                    <!--打赏开始-->
                                            <!--打赏结束-->
                                            <li class="tool-item tool-more">
                        <a>
                        <svg t="1575545411852" class="icon" viewBox="0 0 1024 1024" version="1.1" xmlns="http://www.w3.org/2000/svg" p-id="5717" xmlns:xlink="http://www.w3.org/1999/xlink" width="200" height="200"><defs><style type="text/css"></style></defs><path d="M179.176 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5718"></path><path d="M509.684 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5719"></path><path d="M846.175 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5720"></path></svg>
                        </a>
                        <ul class="more-box">
                            <li class="item"><a class="article-report">文章举报</a></li>
                        </ul>
                    </li>
                                        </ul>
            </div>
                        </div>
        <div class="person-messagebox">
            <div class="left-message"><a href="https://blog.csdn.net/zzc15806">
                <img src="https://profile.csdnimg.cn/5/E/7/3_zzc15806" class="avatar_pic" username="zzc15806">
                                        <img src="https://g.csdnimg.cn/static/user-reg-year/2x/4.png" class="user-years">
                                </a></div>
            <div class="middle-message">
                                    <div class="title"><span class="tit"><a href="https://blog.csdn.net/zzc15806" data-report-click="{&quot;mod&quot;:&quot;popu_379&quot;}" target="_blank">z小白</a></span>
                                        </div>
                <div class="text"><span>发布了79 篇原创文章</span> · <span>获赞 234</span> · <span>访问量 53万+</span></div>
            </div>
                            <div class="right-message">
                                        <a href="https://im.csdn.net/im/main.html?userName=zzc15806" target="_blank" class="btn btn-sm btn-red-hollow bt-button personal-letter">私信
                    </a>
                                                        <a class="btn btn-sm  bt-button personal-watch" data-report-click="{&quot;mod&quot;:&quot;popu_379&quot;}">关注</a>
                                </div>
                        </div>
                </div>