此部分是笔者学习fastai文档关于图像部分的记录,只记录了笔者学习过程中觉得较为重要的东西,比较简略,可能并不适合其他人,详情还请参考fastai官方文档
fastai的简单使用
fastai的是一种建立在pytorch的顶层框架,类似于tensorflow的keras,其简化了建立神经网络的过程。fastai的主要对象是learner,其将数据与网络绑定,更加简便的实现训练等过程。
在fastai的vision模块中,主要包括四个子类,image,transfrom,data以及learner,来实现从数据预处理,数据集的定义,模型的建立以及训练等一系列过程。
示例:
from fastai.vision import *
path = untar_data(URLs.MNIST_SAMPLE)
data = ImageDataBunch.from_folder(path)
learn = create_cnn(data, models.resnet18, metrics=accuracy)
learn.fit(1)
Image子类
- open_image可以打开并显示图像;
img = open_image('imgs/cat_example.jpg')
img
- ImageSegment是Image的子类,其中包含了许多打开掩膜的函数。
- ImageBBox是Image的另一个子类,可以打开用于目标检测的一些图像。
- Image中还包含了许多用于可视化的函数,图像变换的函数
transforms子类
- 一般使用get_transforms来进行图像增强,示例如下:
tfms = get_transforms(max_rotate=25)
len(tfms)
函数细节如下所示:
get_transforms(`do_flip`:bool=`True`, `flip_vert`:bool=`False`, `max_rotate`:float=`10.0`, `max_zoom`:float=`1.1`, `max_lighting`:float=`0.2`, `max_warp`:float=`0.2`, `p_affine`:float=`0.75`, `p_lighting`:float=`0.75`, `xtra_tfms`:Optional[Collection[Transform]]=`None`) → Collection[Transform]
data子类
通过DataBunch对象来定义数据集。
- 读取文件名代表标签的图像数据,使用示例如下:
tfms = get_transforms(do_flip=False)
data = ImageDataBunch.from_folder(path, ds_tfms=tfms, size=24)
- 读取标签储存在csv文件的图像数据,使用示例如下:
data = ImageDataBunch.from_csv(planet, folder='train', size=128, suffix='.jpg', sep=' ',
ds_tfms=get_transforms(flip_vert=True, max_lighting=0.1, max_zoom=1.05, max_warp=0.))
- 除此之外,还有许多读取数据的方式,详情参见文档。
learner子类
- create_cnn可以快速创建一个迁移学习的模型,细节如下:
create_cnn(`data`:DataBunch, `arch`:Callable, `cut`:Union[int, Callable]=`None`, `pretrained`:bool=`True`, `lin_ftrs`:Optional[Collection[int]]=`None`, `ps`:Floats=`0.5`, `custom_head`:Optional[Module]=`None`, `split_on`:Union[Callable, Collection[ModuleList], NoneType]=`None`, `bn_final`:bool=`False`, `kwargs`:Any) → Learner
- unet_learner建立一个动态的unet结构。
fastai模型
fastai集成了yolo的基础框架darknet,分割的unet