大作业论文之基于迁移学习的图像预测研究

基于迁移学习的图像预测研究

 

摘  要:深度学习技术发展迅速,在图像处理领域取得了显著成果.[2]但是由于部分图像样本少,标注困难,使得深度学习的效果远未达到预期.迁移学习是机器学习中一种新的学习范式,它可以克服深度学习需要大量样本的缺陷,能够解决图像分析中数据集较小导致模型不准确的问题,因而成为继深度学习之后在图像分析领域的研究热点.[1]本文介绍了迁移学习方法的基本概念、模型、常用策略及模型,并基于迁移学习的VGG16神经网络模型实现了对图像的分类和预测. 

关键词: 迁移学习；神经网络；深度学习；图像处理 

Research on image prediction based on Transfer Learning

Abstract:Deep learning technology has developed rapidly and achieved remarkable results in the field of image processing.[2]However, due to the small number of medical image samples and difficult labeling, the effect of deep learning is far from reaching the expectation. Transfer learning is a new learning paradigm in machine learning. It can overcome the defect that deep learning requires a large number of samples and solve the problem of inaccurate model caused by small data set in image analysis. Therefore, it has become the focus of medical image analysis after deep learning Research hotspots in the field.[1]This paper introduces the basic concepts, models, common strategies and models of transfer learning methods, and realizes image classification and prediction based on vgg16 neural network model of transfer learning.

Key words:Transfer learning；Neural network；Deep learning；Image processing

  

0  迁移学习概述

迁移学习指的是在某个任务上训练出来的模型结果经过简单的修改后运用到新的任务中.预训练好的模型一般是在大型数据集上进行训练,如图像领域的ImageNet数据集.[4]机器学习是人工智能的一大类重要方法,也是目前发展最迅速、效果最显著的方法.机器学习解决的是让机器学习自主地从数据中获取知识,从而应用到新的问题.而迁移学习作为机器学习的一个重要分支,侧重于将已经学习过的知识迁移应用于新的问题中.

之所以引入迁移学习这一概念,是为了解决大数据与少标注之间的矛盾、大数据与弱计算之间的矛盾、普适化模型与个性化需求之间的矛盾和特定应用的需求.针对这些问题,迁移学习通过迁移数据标注、模型迁移、自适应学习以及相似领域知识迁移来解决.

负迁移指的是在源域上学习到的知识,对于目标域上的学习产生负面作用.[5]迁移学习的核心问题是找到两个领域的相似性.如果这个相似性找的不合理,即不存在相似性或基本不相似,这时就出现了负迁移.所以选择或开发合理的迁移学习方法就成为重要的研究方向.

1  迁移学习方法的分类

迁移学习的分类可以按四个准则进行:按目标域有无标签分、按学习方法分、按特征分、按离线与在线形式分.

按目标域标签分类可分为监督迁移学习、非监督迁移学习和无监督迁移学习.

按学习方法分类,可分为四大类:基于样本的迁移学习方法、基于特征的迁移学习方法、基于模型的迁移学习方法以及基于关系的迁移学习方法.[6]基于样本的迁移学习方法简单直接,该方法从源域中挑选出对目标域训练有用的实例,其中高权重的样本即为有用的实例,将其作为训练集的补充以扩大目标域的训练集,从而提升迁移效果；基于特征的迁移是对特征进行更进一步的变换.将源域和目标域的某些不在一个空间或在一个空间上不相似的特征,通过算法变换到同意空间使这些特征相似,从而更好的进行数据的迁移,分为特征提取迁移和特征映射迁移;基于模型的迁移意在构建参数共享的模型.由于神经网络的结构可直接进行迁移,故该方法经常用在神经网络中;基于关系的迁移是根据挖掘和利用关系进行类比迁移.[6]该方法在实际中应用较少.

按照特征的属性进行分类,迁移学习可分为同构迁移学习和异构迁移学习.同构是指特征语义和维度都相同,而异构是指特征完全不同.例如:不同图片的迁移是同构的,而图片到文本的迁移是异构的.

按照离线学习与在线学习的方式,迁移学习还可被分为离线迁移学习和在线迁移学习.离线迁移学习是指源域到目标域迁移一次即可,但是该算法无法对新加入的数据进行学习,模型也得不到更新;而在线迁移学习是指随着数据动态的加入算法也可不断地进行更新.

2  迁移学习的度量准则

度量的核心是衡量两个数据域的差异,目的是计算源域和目标域的距离.相似度和距离度量在迁移学习中非常重要.下面给出常用的度量手段.

2.1  常见的距离方法

欧氏距离,定义在两个向量（两个点）上,点x和点y的欧氏距离为:

闵可夫斯基距离,两个向量（点）的p阶距离:

当p=1时称其为曼哈顿距离,当p=2时时欧氏距离.

马氏距离,定义在两个向量（两个点）上,着两个点在同一个分布里.点x和点y的马氏距离为:

其中,Σ是该分布的协方差,当Σ=I时,马氏距离退化为欧氏距离.

2.2  相似度衡量方法

余弦相似度:衡量两个向量的相关性(夹角的余弦).向量x,y的余弦相似度为:

互信息:定义在两个概率分布X,Y上,xϵX, yϵY.互信息为:

皮尔逊相关系数:衡量两个随机变量的相关性.随机变量X,Y的Pearson相关系数为:

皮尔逊相关系数解释为协方差矩阵除以标准差之积.范围在-1到1之间,绝对值越大表示相关性越大.

2.3 最大均值差异MMD

最大均值差异(Maximum mean discrepancy)是迁移学习中使用频率最高的度量.它度量在比欧几里得空间更高端的再生希尔伯特空间中的两个分布的距离,是一种核学习方法.两个随机变量的距离为:

其中n1,n2分别表示源域和目标域的样本个数,Φ(·)是映射,用于把原变量映射到再生核希尔伯特空间（RKHS）中,该公式的目的是求两组数据在RKHS中的均值的距离.

3  数据分布自适应

数据分布自适应(Distribution Adaptation)是一类最常用的迁移学习方法.[6]这种方法的基本思想是:由于源域和目标域的数据概率分布不同,那么最直接的方式就是通过⼀些变换,将不同的数据分布的距离拉近.根据数据分布的性质,这类方法又可以分为边缘分布自适应、条件分布自适应、以及联合分布自适应.本文仅对边缘分布自适应方法进行详细的介绍.

边缘分布自适应的目标是减少源域和目标域的边缘概率分布的距离从而完成迁移学习,用P(xs)和P(xt)之间的距离来近似两个领域间的差异.边缘分布自适应的方法名称为迁移成分分析(Transfer Component Analysis),最早由香港科技大学杨强教授团队提出[7].TCA的思想是假设存在一个特征映射Φ使映射后两个领域间的距离非常小.故TCA利用了上述的MMD计算均值之差,然后引入核矩阵K来解决映射的求解问题.TCA方法是迁移学习领域一个经典的方法,深度适应网络（Deep Adaptation Network）、DCC（Deep Domain Confusion）等均是在TCA方法的基础上加以了改进.

4  VGG迁移学习模型

目前在ImageNet上已经训练好的模型有VGG模型、ResNet模型、DenseNet模型、InceptionNet模型和Xception模型等等,本论文仅通过对图像进行处理和分类展开对VGG模型的研究.

2014年在ILSCRC14挑战赛ImageNet数据集分类任务中,牛津大学VGG(Visual Geometry Group)实验室提出了VGG-11、VGG-13、VGG-16、VGG-19等[8]一系列模型结构.其中,VGG-16在ImageNet图像分类任务中获得了7.4%的Top-5错误率,比AlexNet降低了7.9%.VGG模型的深度最多可达19层,而AlexNet模型只有8层,证明了随着模型层数的增加可以提高分类任务的准确率.VGG模型相对与AlexNet模型所做的改进有两方面:使用了更小的卷积核大小,AlexNet使用7*7卷积核,而VGG使用了3*3的卷积核大小,减少了参数量,加快了计算速度;VGG采用了更小的池化层,池化层大小为2*2的窗口,而AlexNet使用的是3*3的池化窗口.VGG模型的结构如图1所示.

图1  VGG模型结构

从图中可以看出,VGG由三种不同的层组成,分别是卷积层、最大池化层和全连接层.

5  VGG16模型试验

5.1  试验环境

使用python中的深度学习框架TensorFlow软件进行试验验证.电脑配置为CPU:Intel(R) Core(TM) i5-8300H CPU @ 2.30GHz;机带RAM:8GB。

5.2  试验数据

实验数据分别选取2500张猫的图片和2500张狗的图片进行模型训练.该数据集由笔者通过网上公开数据集获得.

5.3  VGG16训练过程

VGG16模型首先将原始图片调整大小到(244, 244, 3),然后进行五次卷积,对结果进行平铺,后进行两次神经元为4096的全连接层,最后连接到1000维上用于进行分类.本训练仅对全连接层部分进行训练,将前面的卷积层进行冻结.随着训练的进行,训练损失值一直处于下降的过程中,训练的准确率也逐步上升.五次epoch结束后,训练集的损失降到了0.0329,精确度提升到了0.9869;测试集的损失降到了0.2399,精确度提升到了 0.9335.具体的模型过程中损失和准确率的变化见图2.

(a)  训练集和验证集精确度变化图

(b)  训练集和验证集损失变化图

图2. VGG16模型损失和精度变化图

根据上面的图变化可以看出,训练集在第一次epoch里损失减小的最快,精确度增长的最快,且随着epoch的增加向着好的方向发展.然而验证集的损失在第四次epoch中有上升的趋势,验证集的精确度在第四次epoch中有下降趋势.故该模型的训练还有待优化.

6  结论

总的来说,VGG16网络集成了“更深的网络架构，准确率更高”的信念.[9]采用了较小的过滤器实现了增加网络深度的目的,同时也避免了参数过度膨胀的问题.在众多基础深度卷积神经网络中,VGG16的网络具有分类性能好、网络结构规整、修改相对容易等特点.通过迁移学习识别模型训练的试验结果,可以看出使用迁移学习能在训练集样本偏少的情况下仍然达到较好的识别效果.这说明了迁移学习弱化了使用大数据集样本的必要性,一定程度上能解决小数据集在复杂模型上产生的过拟合问题.

参考文献

1. 黎英.迁移学习在医学图像分析中的应用研究综述[J].计算机工程与应用,2021,57(20):42-52.
2. 高爽,徐巧枝.迁移学习方法在医学图像领域的应用综述[J].计算机工程与应用,2021,57(24):39-50.
3. 周宏威,沈恒宇,袁新佩,李晓冬.基于迁移学习的苹果树叶片病虫害识别方法研究[J].中国农机化学报,2021,42(11):151-158.DOI:10.13733/j.jcam.issn.2095-5553.2021.11.23.
4. 王忠培,张萌,董伟,朱静波,孔娟娟,钱蓉.基于迁移学习的多模型水稻病害识别方法研究[J].安徽农业科学,2021,49(20):236-242.
5. Pan, S. J. and Yang, Q. (2010). A survey on transfer learning. IEEE TKDE, 22(10):1345-1359
6. 王晋东.迁移学习简明手册[M].中国科学院计算技术研究所，2018
7. Pan, S. J., Tsang, I. W., Kwok, J. T., and Yang, Q. (2011). Domain adaptation via transfer component analysis. IEEE TNN, 22(2):199–210.
8. SIMONYAN K,ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[R].2015
9. 曲蕴慧,汤伟,成爽爽.基于深度卷积神经网络及迁移学习的纸病分类方法研究[J].中国造纸,2021,40(10):63-70.

论文学习来源：

学习视频

迁移学习简明手册
提取码：yz59