caffe学习笔记（4）：lr_policy之各模型形式的总结

最新推荐文章于 2019-04-28 15:17:07 发布
最新推荐文章于 2019-04-28 15:17:07 发布
阅读量6.3k 收藏 4
点赞数 1
分类专栏： deep learning 文章标签： lr-policy cnn caffe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30401249/article/details/51460480
版权
本文总结了Caffe中针对AlexNet、GoogleNet、CaffeNet和CIFAR10模型的lr_policy，分别介绍了各模型的特点和实现细节。AlexNet模型遵循原始论文描述；GoogleNet模型得益于Christian Szegedy的帮助得以复现；CaffeNet在AlexNet基础上略有调整；CIFAR10模型则根据Alex Krizhevsky的cuda-convnet教程在Caffe中实现。
摘要由CSDN通过智能技术生成

alexnet模型

net: "models/bvlc_alexnet/train_val.prototxt"
test_iter: 1000
test_interval: 1000
base_lr: 0.01
lr_policy: "step"
gamma: 0.1
stepsize: 100000
display: 20
max_iter: 450000
momentum: 0.9
weight_decay: 0.0005
snapshot: 10000
snapshot_prefix: "models/bvlc_alexnet/caffe_alexnet_train"
solver_mode: GPU

This model is a replication of the model described in the AlexNet publication.

googlenet模型


                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  guyunee
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
openpose官方模型库:pose_iter_xxxxxx.caffemodel

				
			

			

				

					08-18
				

			

		

		

			
				
openpose官方模型库; 内文件包含: body_25(pose_deploy.prototxt; pose_iter_584000.caffemodel) coco(pose_deploy_linevec.prototxt; pose_iter_440000.caffemodel) mpi(pose_deploy_linevec.prototxt; pose_deploy...

			
		

	



                

              
                



	

		

			

				
					
Caffe入门：学习率（lr_policy）

				
			

			

				

					那年聪聪
				

				

					02-13
					
					831
					
				

			

		

		

			
				
非均匀降低策略，指定降低的step间隔，每次降低为原来的一定倍数。

			
		

	



                


  
              

                


	

		

			

				
					
caffe学习率策略(lr_policy参数)选择方法

				
			

			

				

					zhw864680355的博客
				

				

					03-21
					
					1617
					
				

			

		

		

			
				
原文链接地址：https://blog.csdn.net/zong596568821xp/article/details/80917387

在caffe源码的caffe-master/sec/caffe/proto/caffe.proto下记录了不同的学习策略的计算方法：


// The learning rate decay policy. The currently implemented...

			
		

	





	

		

			

				
					
What is 'lr_policy' in caffe?

				
			

			

				

					yuanchheneducn的博客
				

				

					12-08
					
					3215
					
				

			

		

		

			
				
reference: 

https://stackoverflow.com/questions/30033096/what-is-lr-policy-in-caffe/30045244


I just try to find out how I can use Caffe. To do so, I just took a look at the different .prototxt

			
		

	



		

			
		



	

		

			

				
					
图示caffe的solver中不同的学习策略(lr_policy)

				
			

			

				

					cuijyer的博客
				

				

					10-10
					
					4262
					
				

			

		

		

			
				
图示caffe的solver中不同的学习策略(lr_policy)在caffe源码的caffe-master/sec/caffe/proto/caffe.proto下记录了不同的学习策略的计算方法：// The learning rate decay policy. The currently implemented learning rate
  // policies are as follow

			
		

	





	

		

			

				
					
caffe中设置学习率策略  lr_policy: "step"

				
			

			

				

					A person does not really understand something until after teaching it to a computer.     Donald.E.Knuth
				

				

					12-01
					
					2767
					
				

			

		

		

			
				
lr_policy: "step"
gamma: 0.1
stepsize: 10000


若没有设置 gamma: 0.1
进入第二个stepsize时候会出现lr=0的错误

			
		

	





	

		

			

				
					
caffe之ilsvrc12：synset_word.txt

				
			

			

				

					11-08
				

			

		

		

			
				
总的来说，"synset_words.txt"文件是Caffe处理ILSVRC12数据集的关键组件，它连接了深度学习模型的预测结果与ImageNet的实际类别，使得模型的训练和评估过程更加透明，也方便了对模型的调试和优化。在研究或开发基于...

			
		

	





	

		

			

				
					
android-caffe-lib    bvlc_reference_caffenet模型

				
			

			

				

					04-01
				

			

		

		

			
				
在Android平台上，Caffe库（android-caffe-lib）允许开发者在移动设备上运行预训练的深度学习模型，从而实现本地化的图像识别、分类和其他AI任务。  “bvlc_reference_caffenet”是Caffe框架中的一个基准模型，它是...

			
		

	





	

		

			

				
					
pose_iter_584000.caffemodel,pose_iter_584000.caffemodel百度网盘

				
			

			

				

					08-31
				

			

		

		

			
				
openpose1.5.1（2019年）中训练好的身体数据。openpose中的批处理文件下载速度极慢，且容易中断。下载后将此文件解压放在openpose根目录下的\models\pose\body_25文件夹中。

			
		

	





	

		

			

				
					
matlab代码变成.exe-caffe_rcnn:caffe_rcnn

				
			

			

				

					05-27
				

			

		

		

			
				
Caffe 这是一个由Guillaume Dumont（@willyd）领导的基于社区的实验性分支。 这是一个进行中的工作。 Caffe的此分支将框架移植到Windows。 Travis（Linux构建） AppVeyor（Windows构建） Windows安装程序 要求 ...

			
		

	





	

		

			

				
					
caffe的solver中不同的学习策略(lr_policy)

				
			

			

				

					haocrab的记录本
				

				

					04-28
					
					344
					
				

			

		

		

			
				
参考1

参考2

参考3

只要是梯度下降法来求解优化，都会有一个学习率，也叫步长。base_lr用于设置基础学习率，在迭代的过程中，可以对基础学习率进行调整。怎么样进行调整，就是调整的策略，由lr_policy来设置。

lr_policy可以设置为下面这些值，相应的学习率的计算为：

- fixed: 保持base_lr不变.
	- step: 如果设置为step,则还需要设置一个ste...

			
		

	





	

		

			

				
					
caffe中的lr_policy

				
			

			

				

					邬小阳
				

				

					03-14
					
					9607
					
				

			

		

		

			
				
这几天在看caffe的小实验时，发现solver文件中都出现了lr_policy(学习率下降策略)，但由于没有明确说明，故一直不太明白他们的下降原理。网上搜索一番之后，发现对于这个的东西的介绍就在/caffe-master/src/caffe/proto/caffe.proto文件中有定义，现将其摘抄如下：




另外，关于这个的介绍在Stack overflow上有一个更简洁的图像化

			
		

	





	

		

			

				
					
caffe:lr_policy用法

				
			

			

				

					邵立智的博客
				

				

					12-12
					
					776
					
				

			

		

		

			
				
// The learning rate decay policy. The currently implemented learning rate  
// policies are as follows:  
//    - fixed: always return base_lr.  
//    - step: return base_lr * gamma ^ (floor(iter

			
		

	





	

		

			

				
					
caffe中base_lr、blobs_lr和lr_policy

				
			

			

				

					wang4959520的专栏
				

				

					07-18
					
					1万+
					
				

			

		

		

			
				
caffe调整学习率的.
base_lr是适用于所有层的学习率，而针对单个层，可以通过增加两个blobs_lr,用来调整该层的学习率.
一个调整weight的学习率，一个是调整偏执b的学习率。那么该层的学习率就变成了，base_lr*blobs_lr,base_lr*blobs_lr了。

			
		

	





	

		

			

				
					
Caffe中学习率策略应如何选择

					
热门推荐

				
			

			

				

					Sunshine_in_Moon的专栏
				

				

					12-11
					
					1万+
					
				

			

		

		

			
				
今天，在训练网络时想换一种学习策略试试，因此重新研究了一下Caffe中提供的各种学习率策略，在这里和大家聊聊我使用时的一些经验教训。
我们先来看看和学习率策略有关的参数，以下的内容来自caffe.proto中：
// The learning rate decay policy. The currently implemented learning rate
  // policies are

			
		

	





	

		

			

				
					
Caffe傻瓜系列(11)：caffe中的lr_policy选择

				
			

			

				

					haoji007的博客
				

				

					10-12
					
					1238
					
				

			

		

		

			
				
在自己配置训练网络时的solver文件中这个参数选择有好多种策略。
接下来看看caffe.proto文件的这个参数：


[cpp] 
view plain 
copy 


// The learning rate decay policy. The currently implemented learning rate  // policies are as follows:

			
		

	





	

		

			

				
					
[Caffe]:关于lr_policy

				
			

			

				

					cham_3
				

				

					09-23
					
					2117
					
				

			

		

		

			
				
在caffe.proto里面，有关于learning rate policy的描述，介绍了如下几种策略：  // The learning rate decay policy. The currently implemented learning rate
  // policies are as follows:
  //    - fixed: always return base_lr.

			
		

	





	

		

			

				
					
Lr_policy， 持续更新.....

				
			

			

				

					yuanchheneducn的博客
				

				

					10-28
					
					523
					
				

			

		

		

			
				
reference: https://stackoverflow.com/questions/30033096/what-is-lr-policy-in-caffe/30045244I just try to find out how I can use Caffe. To do so, I just took a look at the different .prototxt files in t

			
		

	





	

		

			

				
					
"caffe源码解析1：train_net.cpp的主要功能及使用方式

				
			

			

				

					
				

			

		

		

			
				
在学习caffe的过程中，我们应该从这里开始，并根据具体的函数进行学习。  train_net.cpp文件中的代码主要分为三个步骤。  第一步是从命令行参数中读取solver_param。通过调用ReadProtoFromTextFileOrDie()函数，从...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值