【迁移学习】

迁移学习

1 简介
迁移学习是机器学习研究的课题,在机器学习中集中于依据习得的知识解决不同但相关的问题;即用已知去解决未知(相关);

2 迁移学习分类
(1) 使用模型结构,不利用模型权重,重新训练数据,输出训练模型（仅利用模型结构重新训练）

当新的任务与现存的模型任务差距较大时,可借鉴模型结构,重新进行训练,以达到较优的效果,如图1.2中的摩托车和肿瘤识别.
(2) 使用模型结构和模型权重,对整个模型的权重进行微调(fine-tuning),训练数据,输出训练模型;

若新任务是现存任务的升级版,则可利用现有模型的结构和训练好的模型,微调模型的全部权重,以达到新任务的需求;如提高物品的识别种类,因任务和分类任务相似,新任务只是提高了识别种类,从10类提高到100类,调节训练权重即可.

(3) 使用模型结构和模型权重,根据需要对部分神经网络层权重进行微调,训练数据,输出训练模型;

任务B在任务A的基础上,将前两层权重进行冻结(frozen)对后面的权重进行微调,即可达到效果.
调节最后一层冻结其他层：

识别语言分类中,即只调节最后一层网络,冻结其他层权重,因新任务和现有任务比较类似,且分类差别不大,仅调节最后一层即可.

3 迁移学习应用选型

待训练数据集数量	任务相似度
大	高
小	低

将新任务与现有任务进行两个维度拆分,即新任务数据集数量和两个任务的相似度,进行组合,确定使用哪种迁移方法.

(1) 使用模型结构,不利用模型权重
大低:待训练数据集数量大,任务相似度低;
新任务的数据集的数据量较多,现有模型实现的功能和新任务差异较大,则仅使用模型结构,重新训练新任务模型,如对图中的肿瘤图形进行分类,重新训练模型效果较好.

(2) 使用模型结构和模型权重,对整个模型的权重进行微调
小高:待训练数据集数量小,任务相似度高;
新任务是现有任务的升级,可考虑对全局权重进行微调,由于数据集较少且要求都较为相似,则对整个模型微调较稳妥,如分类类别增加,从10类到100类.

(3) 使用模型结构和模型权重,根据需要对部分神经网络层权重进行微调
小高:待训练数据集数量小,任务相似度高;
新任务数据集数量较小,且两个任务相似度较高,则在特定层次进行微调模型,如输入层和全连接的最终分类层,可获得较好效果.

附作者相关研究：
Python:
Python实现线性回归、逻辑回归、KNN、SVM、朴素贝叶斯、决策树、K-Means7种机器学习算法的经典案例——亲测可用，链接
https://download.csdn.net/download/qq_35778860/20715889
Python实现飞机大战的完整代码——亲测可用，链接
https://download.csdn.net/download/qq_35778860/57165535
Python爬虫获取豆瓣网评分Top200的电影——亲测可用，链接
https://download.csdn.net/download/qq_35778860/56379309
Python根据下拉选项绘制雷达图和柱形图（异常预控平台）——亲测可用，链接
https://download.csdn.net/download/qq_35778860/20715210
Python根据下拉选项绘制雷达图和柱形图（异常预控平台）——亲测可用，链接
https://download.csdn.net/download/qq_35778860/20715210
python实现雷达图——亲测可用，链接
https://download.csdn.net/download/qq_35778860/20695215
基于python的北京房屋出租数据可视化分析与3D展示——亲测可用，链接
https://download.csdn.net/download/qq_35778860/20675051
基于Python设计的web接口聊天机器人
https://download.csdn.net/download/qq_35778860/66662593
用Python进行自然语言处理（中文）.rar
https://download.csdn.net/download/qq_35778860/63652414
《机器学习实战》全书python代码——很全很完整
https://download.csdn.net/download/qq_35778860/62203534
Python3实现十大排序算法
https://download.csdn.net/download/qq_35778860/61630851
C#
成绩管理系统(C/S结构的应用系统，含access数据库)——C#实现
https://download.csdn.net/download/qq_35778860/66967387
C#实现学生信息管理系统（包括增删改查功能）——亲测可用
https://download.csdn.net/download/qq_35778860/61620149
Matlab
极限学习机ELM+OSELM+KELM+半监督SSELM+USELM的matlab程序(附完整代码)
https://download.csdn.net/download/qq_35778860/56378533
P+近邻KNN+LS最小二乘算法的matlab代码——亲测可用（含实例）
https://download.csdn.net/download/qq_35778860/56378309
基于matlab的卷积神经网络实现手写数字识别
https://download.csdn.net/download/qq_35778860/66667747
基于MATLAB的人工蜂群算法
https://download.csdn.net/download/qq_35778860/66665944
利用MATLABsilulink搭建有源电力滤波器仿真.zip
https://download.csdn.net/download/qq_35778860/63659150
动态规划MATLAB程序.zip
https://download.csdn.net/download/qq_35778860/63658838
基于matlab的模式识别基础实例源代码.zip
https://download.csdn.net/download/qq_35778860/63658486
Matlab_动态窗口法实现机器人在障碍环境下的模拟避碰仿真.zip
https://download.csdn.net/download/qq_35778860/63658232
bp神经网络整定pid参数matlab应用程序.rar
https://download.csdn.net/download/qq_35778860/63656174
利用深度学习的matlab程序编码仿真实现图像分割.zip
https://download.csdn.net/download/qq_35778860/63655267
Java
基于java的信息管理系统
https://download.csdn.net/download/qq_35778860/66658535
Java swing学生成绩系统（源码+数据库脚本）.rar
https://download.csdn.net/download/qq_35778860/63653951
Jsp
jsp学生信息管理系统（源码+数据库脚本）.zip
https://download.csdn.net/download/qq_35778860/63653655
SCN
随机配置网络SCN实现的matlab代码——亲测可用
https://download.csdn.net/download/qq_35778860/61636684
BLS
宽度学习BLS的matlab代码+Mnist数据集
https://download.csdn.net/download/qq_35778860/61635045
Mysql
Mysql增删改查代码操作，很全很完整——亲测可用
https://download.csdn.net/download/qq_35778860/61626574
C
基于单片机的交通灯控制系统设计（含代码，原理图）——C语言实现
https://download.csdn.net/download/qq_35778860/60383113
基于单片机的温度控制系统设计代码（含代码，原理图）——C语言实现
https://download.csdn.net/download/qq_35778860/60379923
郭天祥51单片机书中400例程——亲测可用
https://download.csdn.net/download/qq_35778860/58014293
其他
微信转盘抽奖小程序源码.rar
https://download.csdn.net/download/qq_35778860/63652890