SSD训练自己的数据集（pytorch版）_ssd训练自己的数据集pytorch

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上运维知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注运维）

正文

parser.add_argument(‘–root’, default=‘VOCdevkit/VOC2020’ , help=‘Dataset root directory path’)
args = parser.parse_args()

CLASSES = [(‘person’)]
annopath = osp.join(‘%s’, ‘Annotations’, ‘%s.{}’.format(“xml”))
imgpath = osp.join(‘%s’, ‘JPEGImages’, ‘%s.{}’.format(“jpg”))

def vocChecker(image_id, width, height, keep_difficult = False):
target = ET.parse(annopath % image_id).getroot()
res = []
for obj in target.iter(‘object’):
difficult = int(obj.find(‘difficult’).text) == 1
if not keep_difficult and difficult:
continue
name = obj.find(‘name’).text.lower().strip()
bbox = obj.find(‘bndbox’)
pts = [‘xmin’, ‘ymin’, ‘xmax’, ‘ymax’]
bndbox = []
for i, pt in enumerate(pts):
cur_pt = int(bbox.find(pt).text) - 1
# scale height or width
cur_pt = float(cur_pt) / width if i % 2 == 0 else float(cur_pt) / height
bndbox.append(cur_pt)
label_idx = dict(zip(CLASSES, range(len(CLASSES))))[name]
bndbox.append(label_idx)
res += [bndbox] # [xmin, ymin, xmax, ymax, label_ind]
# img_id = target.find(‘filename’).text[:-4]
try :
np.array(res)[:,4]
np.array(res)[:,:4]
except IndexError:
print(image_id+" had error index")
return res # [[xmin, ymin, xmax, ymax, label_ind], … ]

if name == ‘__main__’ :
i = 0
for name in sorted(os.listdir(osp.join(args.root,‘Annotations’))):
# as we have only one annotations file per image
i += 1
img = cv2.imread(imgpath % (args.root,name.split(‘.’)[0]))
height, width, channels = img.shape
res = vocChecker((args.root, name.split(‘.’)[0]), height, width)
print(“Total of annotations : {}”.format(i))

### 二、代码修改


1. 修改`data/voc0712.py`文件中的`VOC_CLASSES`  变量。例如，将VOC\_CLASSES修改为person类，**注意如果只有一类则需要加方括号**，修改后的结果如下。

 

VOC_CLASSES = [(‘person’)

2. 修改`voc0712.py`文件中`VOCDetection`类的`__init__`函数，将`image_sets`修改为`[('2020', 'train'), ('2020', 'val'),('2020','test')]`，修改后的结果如下。

 

def __init__(self, root,
image_sets=[(‘2020’, ‘train’), (‘2020’, ‘val’),(‘2020’,‘test’)],
transform=None, target_transform=VOCAnnotationTransform(),
dataset_name=‘VOC0712’):

3. 修改`config.py`文件中的`voc`字典变量。将其中的`num_classes`修改为2（背景类和person类），第一次调试时可以将`max_iter`调小至1000，修改后的结果如下。

 

voc = {
‘num_classes’: 2,
‘lr_steps’: (80000, 100000, 120000),
‘max_iter’: 1000,
‘feature_maps’: [38, 19, 10, 5, 3, 1],
‘min_dim’: 300,
‘steps’: [8, 16, 32, 64, 100, 300],
‘min_sizes’: [30, 60, 111, 162, 213, 264],
‘max_sizes’: [60, 111, 162, 213, 264, 315],
‘aspect_ratios’: [[2], [2, 3], [2, 3], [2, 3], [2], [2]],
‘variance’: [0.1, 0.2],
‘clip’: True,
‘name’: ‘VOC’,
}

4. 把`coco_labels.txt`放在`ssd.pytorch-master/data/coco/`目录下，也可以通过修改`coco.py`文件中的`COCO_ROOT = osp.join(HOME, 'data/coco/')`来指定存放路径。
5. 在Pytorch1.3以上版本运行时，会出现`RuntimeError: Legacy autograd function with non-static forward method is deprecated`错误，原因是当前版本要求forward过程是静态的，所以需要将原代码进行修改。  
 将`layers/functions/detection.py`文件替换为`Single-Shot-Object-Detection-Updated-master`中的`detection.py`文件。  
 修改`ssd.py`文件中`SSD`类的`__init__`函数和`forward`函数，修改后的结果如下。

 

if phase == ‘test’:
self.softmax = nn.Softmax(dim=-1)
self.detect = Detect(num_classes, 0, 200, 0.01, 0.45)
修改为:
if phase == ‘test’:
self.softmax = nn.Softmax()
self.detect = Detect()

if self.phase == “test”:
output = self.detect(
loc.view(loc.size(0), -1, 4), # loc preds
self.softmax(conf.view(conf.size(0), -1,
self.num_classes)), # conf preds
self.priors.type(type(x.data)) # default boxes
)
修改为：
if self.phase == “test”:
output = self.detect.apply(21, 0, 200, 0.01, 0.45,
loc.view(loc.size(0), -1, 4), # loc preds
self.softmax(conf.view(-1,21)), # conf preds
self.priors.type(type(x.data)) # default boxes
)

6. 修改`train.py`中187至189行代码，原因是`.data[0]`写法适用于低版本Pytorch，否则会出现`IndexError:invalid index of a 0-dim tensor...`错误，修改后的结果如下。

 

loc_loss += loss_l.item()
conf_loss += loss_c.item()

if iteration % 10 == 0:
print(‘timer: %.4f sec.’ % (t1 - t0))
print(‘iter ’ + repr(iteration) + ’ || Loss: %.4f ||’ % (loss.item()), end=’ ')

7. 修改`train.py`中165行代码，否则会出现`StopInteration...`训练中断错误，修改后的结果如下。

 

try:
images, targets = next(batch_iterator)
except:
batch_iterator=iter(data_loader)
images, targets = next(batch_iterator)

8. 交换`layers/modules/multibox_loss.py`中97行和98代码位置，否则会出现`IndexError: The shape of the mask [14, 8732] at index 0does...`错误，修改后的结果如下。

 

loss_c = loss_c.view(num, -1)
loss_c[pos] = 0 # filter out pos boxes for now

9. （可选）可以根据自己的需要对`train.py`中预训练模型、batch\_size、学习率、模型名字和模型保存的次数等参数进行修改。例如，建议学习率修改为`1e-4`（原因是原版使用1e-3可能会出现loss为nan情况），第一次调试时可以修改为每迭代100次保存，方便调试。

 

parser.add_argument(‘–basenet’, default=‘vgg16_reducedfc.pth’,
help=‘Pretrained base model’)

最全的Linux教程，Linux从入门到精通

======================

1. linux从入门到精通(第2版)

2. Linux系统移植

3. Linux驱动开发入门与实战

4. LINUX 系统移植 第2版

5. Linux开源网络全栈详解 从DPDK到OpenFlow

第一份《Linux从入门到精通》466页

====================

内容简介

====

本书是获得了很多读者好评的Linux经典畅销书**《Linux从入门到精通》的第2版**。本书第1版出版后曾经多次印刷，并被51CTO读书频道评为“最受读者喜爱的原创IT技术图书奖”。本书第﹖版以最新的Ubuntu 12.04为版本，循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。本书附带1张光盘，内容为本书配套多媒体教学视频。另外,本书还为读者提供了大量的Linux学习资料和Ubuntu安装镜像文件，供读者免费下载。

本书适合广大Linux初中级用户、开源软件爱好者和大专院校的学生阅读，同时也非常适合准备从事Linux平台开发的各类人员。

需要《Linux入门到精通》、《linux系统移植》、《Linux驱动开发入门实战》、《Linux开源网络全栈》电子书籍及教程的工程师朋友们劳烦您转发+评论

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注运维）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注运维）
[外链图片转存中…(img-2VPIgQlI-1713177530804)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！