写在前面,因为yolov8的集成度相较于yolov5来说更高,封装成了新的库,使用起来就没有那么方便,所以记录一下,使用和修改的过程。
知识来源:YOLOV8训练教程
这个up主更新了很多yolo相关的修改视频,但是博客发得不全,好像比较忙吧,但是很值得学习,然后自己记录一下,方便后续的使用。
但是现在yolov8仍处于一个改动的阶段,没有稳定版本,所以可能过一段时间以后,这些修改也会发生变动,这也是up主没有大规模更新v8的视频吧。
- 卸载ultralytics库,不然的话,运行程序都使用的是这个库里面的文件,修改项目文件就没有作用了。
- yolo/engine/model.py
载入方式
_new:通过读取配置文件来读取模型(我们修改文件需要用到的)
_load:通过预训练权重来导入模型
所以这里主要修改的是_new函数里面的部分代码
# 新增的导入库
import torch
from ultralytics.yolo.utils.torch_utils import intersect_dicts
# _new函数部分新增
def _new(self, cfg: str, verbose=True):
"""
Initializes a new model and infers the task type from the model definitions.
Args:
cfg (str): model configuration file
verbose (bool): display model info on load
"""
cfg = check_yaml(cfg) # check YAML
cfg_dict = yaml_load(cfg, append_filename=True) # model dict
self.task = guess_model_task(cfg_dict)
self.ModelClass, self.TrainerClass, self.ValidatorClass, self.PredictorClass = \
self._assign_ops_from_task(self.task)
self.model = self.ModelClass(cfg_dict, verbose=verbose) # initialize
self.cfg = cfg
## newly appended
ckpt = torch.load('yolov8n.pt')
csd = ckpt['model'].float().state_dict()
csd = intersect_dicts(csd, self.model.state_dict())
self.model.load_state_dict(csd, strict = False)
print(f'Transferred{len(csd)}/{len(self.model.state_dict())} items')
train函数 将append_filename = False
因为没有这个库了,所以不能用在命令行用yolo去运行了
所以 需要新建一个main.py 来运行相关的代码
from ultralytics import YOLO
# load a model
# 第一个参数一定要传配置文件,不能传pt
model = YOLO("ultralytics/models/v8/yolov8n.yaml")
model.train(**{'cfg':'ultralytics/yolo/cfg/default.yaml'})
运行结果如下,需要特别关注红框里面的分子和分母的数值需要一致,如果不一致的话,可能是因为用的模型不匹配
例如我尝试了用yolov5su.pt 和v5/yolov5s.yaml的文件里面的分子分母是不一样的(不知道是改版问题还是什么)
而且现在yolov8改版太大了,发现前两天和今天又是一个新的版本。现在可能已经不太适用这个方法了。
在63行的地方已经调用了一次,然后后面再212-214又重新调用了一次,所以把后面的注释掉
不然就会导致再一次初始化,没有达成修改的目的
# if not overrides.get("resume"): # manually set model only if not resuming
# self.trainer.model = self.trainer.get_model(weights=self.model if self.ckpt else None, cfg=self.model.yaml)
# self.model = self.trainer.model
self.trainer.model = self.model
例如添加注意力机制,需要注意,有些是需要添加通道数的,有些是不需要的。
如果需要接收通道数的话,就在task.py里面导入
具个例子
导入MHSA
先在nn目录下新建MHSA.py文件夹
然后因为需要通道数n_dims
所以需要在task.py里面导入
from ultralytics.nn.MHSA import MHSA
然后在解析模型的代码里面加入
elif m in {MHSA}:
args = [ch[f], *args]
需要注意的是 在修改yaml文件的时候
每一层会有对应的层数,比如在从backbone数下来,加多了一层,那么下面的concat之类的层数也要发生改变,随着层数走,不然网络结构会发生很大的变化,concat的地方会放错的等等。
建议先对照着结构图来理解yaml文件,然后再进行修改
无参的