yolact train过程源码解读（COCO数据集）

最新推荐文章于 2023-11-16 10:53:41 发布
最新推荐文章于 2023-11-16 10:53:41 发布
阅读量836 收藏 2
点赞数 1
分类专栏： 源码解读2 文章标签： python 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/level_code/article/details/128144620
版权
本文详细解读了Yolact模型在COCO数据集上的训练过程，包括数据预处理、网络结构、权重初始化和训练流程。重点讨论了数据集处理中的mean和std、COCO数据集格式、锚点（anchor）的作用以及损失函数的计算，特别是conf loss的计算中正负样本的选择策略。
摘要由CSDN通过智能技术生成

本文很长，包含了详细的train部分的源码注释，涉及到的paper部分，COCO数据集的具体使用，如何利用anchor做box坐标的regression，中间变量的展示。
网络结构部分不再细讲（网络输出结果细节参考yolact源码解读），

本文聚焦于数据集的预处理，损失函数的计算。

训练过程要先处理数据集,

1.数据集处理

数据集的mean, std如下

MEANS = (103.94, 116.78, 123.68)
STD   = (57.38, 57.12, 58.40)


                

                
                
        

        

    




        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  蓝羽飞鸟
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    2
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
                
  • 
                  
                    打赏
                    
                  
                  
    打赏
    
                
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          

                

                        订阅专栏
                










                



	

		

			

				
					
【YOLACT】代码解读一

				
			

			

				

					01-06
				

			

		

		

			
				
【YOLACT】代码解读一代码运行验证处理图片训练代码解读网络架构
代码运行
根据github所给指导一步一步进行，如果曾经下载好coco数据集，在data/config.py108行以下修改数据集的目录，并且在run_coco_eval.py16行修改验证集annotation文件的路径。
验证
有以下三种评估方式：
first
python eval.py --trained_model=weights/yolact_base_54_800000.pth


以上命令不使用coco数据集自带的模型评估COCOEval，而是使用自己定义的评估函数。
second
python eval.py

			
		

	



                

              
                



	

		

			

				
					
【yolact_edge】训练自己的yolact_edge模型（并部署在Jetson Xavier上）

				
			

			

				

					syh的技术记录
				

				

					10-30
					
					3284
					
				

			

		

		

			
				
目录0. 前言1. 整个流程2. 具体过程2.1 部署基本环境2.2 按COCO格式准备自己的数据集2.3 修改yolact_edge/data/config.py文件的配置2.3.1 修改一：增加自己的数据集定义2.3.2 修改二：在DATASET部分增加自己的数据集2.3.3 修改三：增加自己数据集的训练配置2.3.4 修改四：在代码的最后制定cfg为你2.3.3配置的cfg名称2.4 训练模型，检测模型3. 总结
0. 前言
前段时间在Jetson Xavier上试了试官方的demo，发现效果还不错，

			
		

	



                


  
              

                


	

		

			

				
					
【Yolact数据集制作-labelme使用与转coco详解】

				
			

			

				

					qq_29960631的博客
				

				

					12-14
					
					4811
					
				

			

		

		

			
				
开头总爱瞎掰两句，简单介绍下主要是为了做实例分割时需要用到labelme转coco数据集，此处写一个详细教程，作为yolact实战贴 的补充。

			
		

	





	

		

			

				
					
【YOLACT】代码解读

				
			

			

				

					mjiansun的专栏
				

				

					01-20
					
					7437
					
				

			

		

		

			
				
源码：https://github.com/dbolya/yolact


num_class是算上背景的类别，比如你的类别就一个person，那么记得此时的num_class应该为2，因为还需要算上背景啊。


YOLACT的网络结构及输出

YOLACT的backbone结构

其中_make_layer就是常规的resnet101中的_make_layer，具体是如何操作的可以查看源码ht...

			
		

	



		

			
		



	

		

			

				
					
yolact代码运行（包括出现问题和解决办法）

				
			

			

				

					TracyGC的博客
				

				

					11-16
					
					179
					
				

			

		

		

			
				
这个问题是由于json.dumps()函数引起的。dumps是将dict数据转化为str数据，但是dict数据中包含byte、int、float、datetime等等的时候，数据所以会报错。由于注释文件中的Class的ID是从1开始，并按class_names顺序依次增加。而我们的注释文件（类似COCO格式）不是这样，是从0开始，所以需要参见在。然后在utils/logger.py里在调用json.dump/dumps时，指定使用自定义序列化方法。，把0，1，2，3依次对应1，2，3，4。

			
		

	





	

		

			

				
					
coco数据集的annotations-trainval2017

					
最新发布

				
			

			

				

					07-27
				

			

		

		

			
				
coco数据集的annotations_trainval2017,包含：captions_train2017.json、captions_val2017.json、instances_train2017.json、instances_val2017.json、person_keypoints_train2017.json、person_keypoints_val2017....

			
		

	





	

		

			

				
					
coco数据集所需代码.zip

				
			

			

				

					01-14
				

			

		

		

			
				
1. **数据加载模块**：这部分代码负责读取COCO数据集的JSON格式标注文件，如`instances_train2017.json`和`instances_val2017.json`。这些文件包含了图像的ID、类别信息、边界框坐标等。  2. **数据预处理**：根据...

			
		

	





	

		

			

				
					
适用于YoloV5训练和测试的coco数据集标签文件（train2017.txt和val2017.txt）

				
			

			

				

					09-15
				

			

		

		

			
				
总之，这个资源提供了COCO数据集2017版针对YoloV5训练和评估的预处理标签文件，以及可能的原始图像数据，简化了数据准备过程，使得研究人员和开发者能更便捷地利用COCO数据集来训练和测试YoloV5模型，提升目标检测...

			
		

	





	

		

			

				
					
适用于Yolo训练和测试的coco数据集标签文件 train2017.txt和val2017.txt

				
			

			

				

					05-06
				

			

		

		

			
				
COCO（Common Objects in Context）数据集是一个广泛使用的多类别物体检测、分割和关键点定位的数据集，包含超过20万张图像，涵盖了80个不同的类别。  `train2017.txt` 和 `val2017.txt` 是COCO数据集中用于训练和...

			
		

	





	

		

			

				
					
微软MSCOCO数据集 train2017.zip 百度云分享

				
			

			

				

					11-19
				

			

		

		

			
				
微软MSCOCO数据集train2017里面大概包括118K张图片数据

			
		

	





	

		

			

				
					
Python-YOLACT一种用于实时实例分割的简单完全卷积模型

				
			

			

				

					08-10
				

			

		

		

			
				
YOLACT 一种用于实时实例分割的简单，完全卷积模型

			
		

	





	

		

			

				
					
yolact-gui

				
			

			

				

					02-11
				

			

		

		

			
				
YOLACT-GUI
 的GUI应用程序。
 单击查看原始项目
安装（检查以获取更多详细信息）
 克隆此仓库并输入
git clone https://github.com/jiancong0204/yolact-gui
cd yolact-gui
mkdir -p data/coco/images        # Stores image dataset
mkdir -p data/coco/annotations   # Stores data annotations
mkdir weights                    # Stores trained model
 使用anaconda设置环境
# Create a new environment and activate it
conda create -n youlact python=3.7
conda acti

			
		

	





	

		

			

				
					
yolact 评估可视化python代码

				
			

			

				

					09-26
				

			

		

		

			
				
实例分割yolact评估可视化以及去除边缘噪声点代码实现

			
		

	





	

		

			

				
					
Yolact_minimal:YOLACT的最小PyTorch实现

				
			

			

				

					05-14
				

			

		

		

			
				
Yolact_minimal
 Yolact的最小PyTorch实现 。 原始项目在。
 此实现简化了原始代码，保留了主要功能并使网络易于理解。 此实现尚未更新为Yolact ++。
以双绞变压器为骨干的新版本已经在市场上。 TensorRT加速度也已经存在。 这两个分支即将合并。 请检查
网络结构。
环境环境
PyTorch> = 1.1 Python> = 3.6 n 对于CUDA 10.2，onnxruntime-gpu == 1.6.0 tensooardX 其他常见的软件包。
准备
构建cython-nms
python setup.py build_ext --inplace
 下载COCO 2017数据集，在config.py 'res101_coco'中修改self.data_root 。
 下载权重。
 Yolact训练的重量。
 骨干
盒图
面膜MAP
 Google云

			
		

	





	

		

			

				
					
yolact_person.rar

				
			

			

				

					01-13
				

			

		

		

			
				
基于yolact的重新训练模型, 可用于人体检测. 详细说明见博客
https://blog.csdn.net/Augurlee/article/details/103574125

			
		

	





	

		

			

				
					
YOLACT的后处理代码

				
			

			

				

					tugouxp的专栏
				

				

					02-18
					
					515
					
				

			

		

		

			
				
NCNN上的yoloact用例，包含YOLACT的后处理代码逻辑：

ncnn/yolact.cpp at master · Tencent/ncnn · GitHubncnn is a high-performance neural network inference framework optimized for the mobile platform - ncnn/yolact.cpp at master · Tencent/ncnnhttps://github.com/Tencent/ncnn/bl

			
		

	





	

		

			

				
					
Yolact源码解析

				
			

			

				

					Ken的博客
				

				

					09-29
					
					3091
					
				

			

		

		

			
				
eval.py文件
数据加载
with timer.env('Load Data'):
	# img:(550, 550, 3)
	# gt:(3, 5)，3是3个物体，5是中心点，宽高，类别
	# gt_mask: (3, 1080, 1920),1080*1920是加载的原图大小
	# h, w:1080, 1920
	# num_crowd:0
    img, gt, gt_masks, h, w, num_crowd = dataset.pull_item(image_idx)
# pull_it

			
		

	





	

		

			

				
					
【深度学习】【YOLACT】代码解读一

				
			

			

				

					Hana
				

				

					02-19
					
					4910
					
				

			

		

		

			
				
【YOLACT】代码解读一代码运行验证处理图片训练代码解读网络架构
代码运行
根据github所给指导一步一步进行，如果曾经下载好coco数据集，在data/config.py108行以下修改数据集的目录，并且在run_coco_eval.py16行修改验证集annotation文件的路径。
验证
有以下三种评估方式：
first
python eval.py --trained_model=we...

			
		

	





	

		

			

				
					
coco 语义分割_YOLACT++：目前最热门的实时实例分割开源库

				
			

			

				

					weixin_29905347的博客
				

				

					12-23
					
					443
					
				

			

		

		

			
				
点击我爱计算机视觉标星，更快获取CVML新技术YOLACT 是ICCV 2019 接收的实时实例分割论文 YOLACT: Real-time Instance Segmentation 提出的算法，近期该文作者又对此进行了扩展，提出YOLACT++：Better Real-time Instance Segmentation，其 resnet50 模型在Titan Xp 上运行速度达3...

			
		

	





	

		

			

				
					
获取完整COCO数据集：80类目标检测训练与验证资源

				
			

			

				

					
				

			

		

		

			
				
"YOLO系列最新COCO数据集提供了80个类别的目标检测训练、测试和验证数据。这个数据集是YOLOv3-v8版本所使用的，包含了丰富的图像和对应的标注信息。用户可以通过提供的链接快速下载，最高可享受200M的下载速度。数据...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
蓝羽飞鸟

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值